Ollama

工具简介 Ollama 是一款开源的本地大语言模型运行工具，支持在个人电脑上一键部署 Llama、Mistral、Qwen 等主流开源模型。无需 GPU 云服务，通过简单命令即可启动 AI 模型服务。 快速开始 1. 下载安装：访问 ollama.com 下载对应系统的安装包，支持 macOS、Linux、Windows 2. 安装完成：运行 ollama --version 确认安装成功 3. 拉取模型：执行 ollama pull llama3 下载 Meta 的 Llama3 模型 4. 启动对话：运行 ollama run llama3 开始与模型对话 5. 退出对话：输入 /bye 或按 Ctrl+D 结束会话 核心功能演示 功能一：本地模型对话 安装完成后，直接在终端与 AI 对话。运行 ollama run mistral 启动 Mistral 模型，输入问题即可获得回答。支持多轮对话，模型会记住上下文。无需联网，所有计算在本地完成，保护隐私数据。 功能二：API 接口调用 Ollama 提供兼容 OpenAI 的 REST API 接口。启动服务后，使用 curl 命令测试：curl http://localhost:11434/api/generate -d '{model:llama3,prompt:你好}'。这使得 Ollama 可以轻松集成到现有应用中，替代云端 API。 功能三：模型管理与切换 使用 ollama list 查看已安装的模型，ollama pull model_name 下载新模型，ollama rm model_name 删除不需要的模型。支持同时安装多个模型，随时切换使用。还可以通过 Modelfile 自定义模型参数和系统提示词。 实际使用案例 案例一：隐私保护的代码助手 开发公司内部系统时，代码不能上传到云端。在本地部署 Ollama 运行 CodeLlama 模型，作为代码补全和问题解答的助手。所有代码都在本地处理，满足企业的数据安全要求，同时享受 AI 辅助编程的便利。 案例二：离线知识问答系统 图书馆需要一个离线的参考咨询系统。使用 Ollama 部署中文模型，导入馆藏目录数据，读者可以通过自然语言查询书籍信息。系统完全离线运行，不依赖网络，适合各种环境部署。 常见问题 FAQ Q1：需要什么样的电脑配置？ A1：基本要求 8GB 内存运行 7B 参数模型，16GB 内存运行 13B 模型。有 NVIDIA GPU 会显著加快推理速度，但 CPU 也能运行，只是速度较慢。Mac 用户推荐使用 M1/M2 芯片的设备。 Q2：模型文件保存在哪里？ A2：默认保存在用户目录下的 .ollama 文件夹。Linux/Mac 在 ~/.ollama，Windows 在 C:Users用户名.ollama。可以通过设置 OLLAMA_MODELS 环境变量自定义存储路径。 Q3：如何更新 Ollama 和模型？ A3：重新下载安装包即可更新 Ollama 本体。更新模型使用 ollama pull model_name 命令，会自动下载最新版本。建议定期更新以获得性能改进和新功能。 小贴士 1. 善用 Modelfile：创建自定义 Modelfile 可以设定系统提示词、温度参数等，打造专属的 AI 助手角色，提升使用体验。 2. 资源监控：使用 ollama ps 查看当前运行的模型和资源占用，及时释放不需要的模型内存。 3. 社区模型：探索 Ollama 模型库，发现社区贡献的微调模型，如专门用于翻译、写作、编程等特定任务的版本。