标签：Llama 3

#用Ollama部署Llama 3，再通过Nginx让全家设备共享离线大模型

手头那台32G内存、RTX 4090的主机装了Ollama 0.3.10，拉了llama3:8b和70b。手机、MacBook、iPad全跑来要接口。每台设备都pull一遍5GB起步的模型？脑子进水。核心就三点：一台机器扛模型，其他设备当哑终端直连调用。所有prompt和响应全程不离内网。运维从五台设备各自更新缩成只改host服务器上一个systemd进程和Nginx配置。