01

为什么要把AI装进自己的电脑？

平时用的云端AI（网页版大模型）在远方的服务器上运行。而本地部署是把AI模型下载到自己的电脑里运行。这听起来极客，其实已经简单到中学生也能做到，而且有三个实实在在的好处：

绝对隐私

对话内容不出本机：日记、成绩单、家庭信息，不用担心被收集泄露

离线可用

断网也能聊！牧区、山区、网络不稳的地方照样用AI

一次下载长期免费

不按次收费、不限次数，可以放心折腾和做实验

云端AI

  • 最强模型、免安装、开箱即用
  • 数据经过网络传到服务器
  • 高级功能通常要付费
  • 断网不可用

本地AI

  • 模型小一些，但日常问答完全够用
  • 数据留在自己电脑，隐私最强
  • 免费、无限制、可深度定制
  • 有电脑就能跑，性能决定速度
最佳策略两者搭配：日常隐私任务用本地，复杂任务用云端最强模型。
02

看懂"7B""量化""显存"这些黑话

下载模型时你会看到 Qwen2.5-7B、14B-Q4_K_M 之类的名字，其实就三个概念：

术语含义记忆方法
参数 7B / 14BB=十亿，7B即70亿个可调参数，约等于模型的"脑容量"参数越大越聪明，但也越吃硬件、越慢
显存 VRAM显卡（GPU）的内存，模型主要装进这里运行显存越大，能装的模型越大
量化 Q4 / Q8压缩模型参数的精度，Q4用4比特存一个数像图片"压缩包"：体积减半，画质损失很小
7B 模型有多大？
• FP16 原版精度 ≈ 需要 14GB 显存
• Q4 量化后 ≈ 只需 4.7GB 显存，普通人的游戏本就能跑
• 量化损失对日常聊天很小，是公认的"甜点位"
类比模型参数像一幅高清画，量化像把画存成"压缩JPG"——文件小了一大半，挂在墙上看几乎没区别；只有凑近做专业级工作时才需要原图。
03

Ollama 四步跑通本地大模型

Ollama是目前最流行的本地模型工具（支持Windows/Mac/Linux），把复杂的安装简化成几条命令。

1

下载安装 Ollama

访问 ollama.com 下载安装包，一路下一步。安装后在终端输入 ollama --version 能看到版本号即成功。

2

选择并下载模型

在官网模型库挑选。新手推荐通义千问 ollama pull qwen2.5:7b（4.7GB）；配置一般可选 qwen2.5:1.5b。

3

运行对话

输入 ollama run qwen2.5:7b，出现 >>> 提示符就能直接聊天了！

4

装图形界面（可选）

命令行不习惯？安装 Open WebUI，立刻获得类似网页版ChatGPT的界面，还支持知识库、多用户。

青海同学提示模型文件几个G，建议在学校/县城网络好的环境一次性下载好，之后在任何地方都能离线使用。
04

我的电脑能跑吗？装机模拟器测一测

选模型的核心公式很简单：模型量化后的体积 ≤ 显存（不够时部分会"挤"到内存和CPU，速度变慢但仍能跑）。在下面的模拟器里选一下你的电脑配置：

模型推荐清单（2026 新手向）

模型适合场景量化后体积
Qwen2.5 0.5B / 1.5B核显电脑入门、英语学习、简单问答0.4~1GB
Qwen2.5 7B / 羡曦吾语AI模型-R1 7B综合甜点：写作、代码、数学、推理4.7GB
Qwen2.5 14B更高质量，12G显存推荐9GB
多模态模型（如 qwen2.5-vl）能"看图"：识别照片、读图表5~9GB
05

动画微课：边看边巩固

动画微课0:56

本地AI的三大超能力

隐私、离线、免费，数据不出家门

56秒 价值认知
动画微课0:58

7B、显存、量化是什么

用"高清画与压缩JPG"秒懂量化

58秒 概念扫盲
动画微课0:59

Ollama四步走演示

从安装到离线对话的完整过程

59秒 实操流程
拓展微课0:52

进阶玩法：API 与私有知识库

让程序调用本地模型，RAG让AI读你的资料

52秒 进阶开发

课后实践任务

  1. 查看自己（或学校机房）电脑的显卡和内存：Windows可在"任务管理器→性能"查看；
  2. 用装机模拟器确定适合的模型，在纸上写下完整的4条命令；
  3. 在老师或家长协助下安装Ollama并跑通模型，断网测试一次，截图"离线AI对话"。
专区课后测评