Skip to main content

5.2.3 大语言模型

功能介绍​

本节介绍本地部署大语言模型（LLM）工具 Ollama 的使用方法。Ollama 是一款开源、跨平台的 LLM 本地化部署框架，支持在 PC、边缘服务器等设备上快速部署主流预训练语言模型（如 LLaMA、DeepSeek、Qwen 等），可离线运行，无需依赖云服务或高性能 GPU。

安装​

在支持的系统上安装 Ollama 工具集：

sudo apt update
sudo apt install spacemit-ollama-toolkit

安装完成后，执行以下命令验证是否安装成功：

ollama list

如果输出如下格式内容，则表示安装成功：

NAME       ID        SIZE      MODIFIED
...

使用示例​

Ollama 会自动检测系统环境并下载适配的 4-bit 量化模型（Q4_K_M、Q4_0、Q4_1），无需手动配置。

以启动 qwen3:0.6b 模型为例：

ollama run qwen3:0.6b

该命令将在首次运行时自动下载 Q4_K_M 格式的模型（默认加速方案），之后可直接进行对话或调用。

手动制作加速模型（拓展）​

如果需要自定义模型部署（例如使用非默认名称、定制配置文件等），可按照以下步骤手动下载并制作模型。

下载模型文件与配置文件​

建议下载 Q4 开头的 4-bit 量化模型，在 K1 开发板上具有最佳性能。以 Qwen2.5-0.5B-Instruct 为例：

sudo apt install wget
wget https://modelscope.cn/models/second-state/Qwen2.5-0.5B-Instruct-GGUF/resolve/master/Qwen2.5-0.5B-Instruct-Q4_0.gguf -P ~/
wget https://archive.spacemit.com/spacemit-ai/modelfile/qwen2.5:0.5b.modelfile -P ~/

wget http://archive.spacemit.com/spacemit-ai/gguf/qwen2.5-0.5b-fc-q4_0.gguf -P ~/
wget http://archive.spacemit.com/spacemit-ai/modelfile/qwen2.5-0.5b-fc.modelfile -P ~/

该 .gguf 文件为主模型文件，.modelfile 为 Ollama 所需的模型构建配置文件。

创建 Ollama 模型​

执行以下命令创建本地模型：

cd ~/
ollama create qwen2.5:0.5b -f qwen2.5:0.5b.modelfile
ollama create qwen2.5-0.5b-fc -f qwen2.5-0.5b-fc.modelfile

⚠️ .modelfile 内容应根据所下载模型名称、路径、格式等进行适配，具体格式可参考 Ollama 官网提供的文档：https://ollama.com/search

启动模型​

创建完成后，执行下述命令即可运行：

ollama run qwen2.5:0.5b

系统将启动模型，等待用户输入交互或接口调用。