标签:本地部署

用Ollama部署Llama 3,再通过Nginx让全家设备共享离线大模型

#用Ollama部署Llama 3,再通过Nginx让全家设备共享离线大模型

手头那台32G内存、RTX 4090的主机装了Ollama 0.3.10,拉了llama3:8b和70b。手机、MacBook、iPad全跑来要接口。每台设备都pull一遍5GB起步的模型?脑子进水。核心就三点:一台机器扛模型,其他设备当哑终端直连调用。所有prompt和响应全程不离内网。运维从五台设备各自更新缩成只改host服务器上一个systemd进程和Nginx配置。

阿牛 16
AI
git checkout
Ollama本地部署Function Calling:让AI自主调用API实现日程、文件与系统操作

#Ollama本地部署Function Calling:让AI自主调用API实现日程、文件与系统操作

本文详细讲解如何在Ollama中启用Function Calling功能,让本地大模型从被动聊天变为主动执行。通过自定义工具描述,模型可调用日程创建、文件读写、系统命令等API,实现自动化工作流。涵盖环境配置、模型选择、Modelfile编写及实际案例,适合希望将本地AI转化为自动化引擎的开发者。

阿牛 163
AI
git checkout
用Ollama本地部署Rerank模型:给RAG检索结果做二次精排

#用Ollama本地部署Rerank模型:给RAG检索结果做二次精排

大多数RAG管线第一层用向量相似度做粗筛,速度快但常把“字面接近、语义偏题”的段落推到前面。Rerank(重排序)借助CrossEncoder对查询和候选段落做细粒度相关性判断,是粗筛之后、生成之前的第二道关卡。Ollama从0.4.10起正式支持Reranking模型,可拉取Qwen3-Reranker等专用模型,在本地实现企业级精排能力。本文介绍安装步骤、模型拉取、API调用,以及如何将Rerank嵌入现有RAG pipeline,让检索结果更精准。

阿牛 224
AI
git checkout
用Ollama本地部署多模态模型,让AI直接读取图表和截图生成结构化数据分析报告

#用Ollama本地部署多模态模型,让AI直接读取图表和截图生成结构化数据分析报告

本文介绍如何通过Ollama本地部署多模态模型,实现图表和截图的结构化数据分析。从安装Ollama、拉取模型(如llava、bakllava)到多卡推理配置,再到使用Open-WebUI搭建可视化聊天界面,全程离线运行,避免数据外泄和云端费用。适合需要处理敏感数据的财务、用户画像等场景。

阿牛 12
AI
git checkout