零基础上手Ollama：在本地电脑运行大模型的完全指南

为什么要本地运行大模型

你可能已经习惯了使用ChatGPT或Claude，但有没有想过这些场景：

– 处理包含敏感信息的工作文档，不想上传到云端

– 在没有网络的飞机或高铁上想用AI辅助工作

– 频繁调用API但每个月的账单越来越高

– 想自由切换不同模型而不用换平台

Ollama就是为解决这些问题而生的。它是一个让你在本地电脑上运行各种大语言模型的工具，安装简单、命令行操作、完全免费。

第一步：安装Ollama

### macOS

直接下载安装包：

# 访问 https://ollama.com 下载macOS版本
# 或者用Homebrew:
brew install ollama

### Linux

一行命令搞定：

curl -fsSL https://ollama.com/install.sh | sh

### Windows

从官网下载安装程序，一路「下一步」即可。

安装完成后验证一下：

ollama --version

第二步：下载并运行你的第一个模型

Ollama的模型库里有上百个模型可选。对于新手，推荐从这几个开始：

# 通用模型（推荐首选，7B参数，4.7GB）
ollama run llama3.2

# 中文能力更强
ollama run qwen2.5:7b

# 编程能力强
ollama run deepseek-coder-v2

首次运行会自动下载模型。下载速度取决于你的网络，一般在几分钟到十几分钟。

下载完成后，你会直接进入对话模式：

>>> 用中文解释一下什么是机器学习

机器学习是人工智能的一个分支，它让计算机能够从数据中学习规律…

按 `Ctrl+D` 或输入 `/bye` 退出对话。

第三步：管理你的模型

Ollama提供了简单实用的管理命令：

# 查看已下载的所有模型
ollama list

# 查看模型详细信息
ollama show llama3.2

# 删除不需要的模型（释放磁盘空间）
ollama rm llama3.2

# 复制模型并修改参数
ollama cp llama3.2 my-custom-model

第四步：通过API调用

Ollama默认在本地的11434端口提供了兼容OpenAI格式的API：

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "用一句话解释什么是神经网络",
  "stream": false
}'

你也可以在任何支持自定义API地址的AI客户端中使用Ollama：

– Chatbox：设置中选「Ollama」作为模型提供者

– Open WebUI：Docker部署后在设置中添加 `http://localhost:11434`

– VS Code Continue插件：配置文件中设置 `”provider”: “ollama”`

硬件要求

| 模型大小 | 最低内存 | 推荐内存 |

|———|:——-:|:——-:|

| 7B模型（如Llama 3.2） | 8GB | 16GB |

| 13B模型 | 16GB | 32GB |

| 70B模型 | 32GB | 64GB+ |

大多数2020年以后的笔记本电脑都能流畅运行7B模型。如果你用的是Apple Silicon Mac（M1及以上），Ollama会自动利用GPU加速，体验会更好。

常见问题

Q：为什么回复很慢？

A：检查模型大小是否超出你的内存。运行 `ollama ps` 可以看到当前模型的内存占用。如果内存不足，换一个小模型。

Q：下载的模型存在哪里？

A：macOS在 `~/.ollama/models`，Linux在 `/usr/share/ollama/.ollama/models`，Windows在 `C:\Users\<用户名>\.ollama\models`。

Q：可以同时运行多个模型吗？

A：可以，但注意总内存占用量。每个模型的 `ollama run` 会单独占用内存。

Q：如何配置模型参数？

可以创建一个Modelfile来自定义参数。例如，让模型输出更简洁：

ollama pull llama3.2
# 创建Modelfile
cat > Modelfile << 'EOF'
FROM llama3.2
PARAMETER temperature 0.7
PARAMETER top_p 0.9
SYSTEM "你是一个专业的技术助手，回答简洁明了。"
EOF
# 创建自定义模型
ollama create my-assistant -f Modelfile
# 运行自定义模型
ollama run my-assistant

通过调整参数，你可以让同一个基础模型展现出截然不同的「性格」——更保守或更创造性、更长或更短的回答。

2026年7月3日 | LC智趣厅

— END —
LC 智趣厅 · 科技与生活的交点
ihygg.cn