旧笔记本3步变身离线AI工作站：Ollama本地部署实战，断网也能用

今天为什么值得学这个

端侧 AI 正在爆发：14MB 的模型能塞进手机手表，Unsloth 把本地跑模型做成了桌面 App——趋势已经很明确，AI 正在从云端走向本地。对普通人来说，最实用的第一步是：把手里吃灰的旧笔记本，变成一台完全离线、数据不出门的 AI 工作站。

本教程解决的真实问题：不想把聊天记录、文档内容发给云端，又想在本地体验 AI。用开源项目 Ollama，3 步搞定，不需要 GPU，4GB 内存的旧电脑也能跑小模型。适用人群：会用终端、想入门本地 AI 的小白；前置条件：Windows/macOS/Linux 电脑一台，联网仅用于首次下载模型。

第 1 步：安装 Ollama

Ollama 是一个极简的本地大模型运行工具，官网 ollama.com 提供各平台安装包，也可以一行命令装（macOS/Linux）：

curl -fsSL https://ollama.com/install.sh | sh

Windows 用户直接下载安装包双击安装。装完验证：

ollama --version

成功标准：终端输出版本号，如 `ollama version 0.x.x`。

第 2 步：下载并运行一个小模型

模型按体积从小到大，旧笔记本建议从 3B 左右开始。以轻量模型 qwen2.5:3b 为例（约 2GB）：

ollama pull qwen2.5:3b

下载完成后，直接对话测试：

ollama run qwen2.5:3b

输入”用一句话介绍你自己”，能看到回复即成功。成功标准：模型正常加载并流畅回复，内存占用在你机器的承受范围内（任务管理器/活动监视器里观察，3B 模型通常 4GB 内存即可）。

如果跑起来卡顿，换更小的模型：

ollama pull qwen2.5:0.5b
ollama run qwen2.5:0.5b

第 3 步：验证”断网可用”，并接入日常工具

断开 Wi-Fi/网线，再次执行：

ollama run qwen2.5:3b

成功标准：断网状态下模型依然正常回答——这说明你的数据完全留在本机，这就是本地 AI 的核心价值。

想把它当普通 API 用？Ollama 默认自带 OpenAI 兼容接口，服务常驻后任何应用都能接入：

ollama serve

然后 curl 测试（本地地址，不经过云端）：

curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"qwen2.5:3b","messages":[{"role":"user","content":"你好"}]}'

返回 JSON 即接入成功。之后你可以把各类聊天工具、笔记软件的模型地址指到 `http://localhost:11434`。

常见失败与处理

1. **下载慢/失败**：换网络环境，或设置镜像源 `OLLAMA_HOST` 相关加速变量；国内网络建议配置代理后重试。
2. **生成速度极慢**：模型选大了，换 0.5B/1B 档；关闭其他占用内存的程序。
3. **`command not found`**：Windows 检查 PATH；Linux/macOS 重开终端让环境变量生效。
4. **中文回答质量一般**：小模型通病，优先选 qwen 系列（中文优化），或升级到 7B 档（需 8GB 内存）。

一句话总结

AI 本地化的门槛比想象中低：一条命令装 Ollama，一条命令拉模型，断网也能用。3 步下来，你的旧笔记本就是一台数据隐私完全自控的 AI 工作站——这也是端侧 AI 大趋势下，每个人都该掌握的基础技能。

— END —
LC 智趣厅 · 科技与生活的交点
ihygg.cn