MiniCPM5-2B 端侧 Agent 部署完全指南2B 参数跑出通用 Agent 雏形2026年9月8日面壁智能联合 OpenBMB 开源社区正式开源 MiniCPM5-2B。20亿参数INT4 量化后仅 1.2GBAA 榜单 23 分登顶全球 4B 以下开源模型第一Agent 能力榜 20 分断层领先。本文手把手教你从零部署到实测验证。一、MiniCPM5-2B 是什么20亿参数的端侧 Agent 基座MiniCPM5-2B 是面壁智能「小钢炮」系列的最新成员参数规模 20 亿2B定位为高密度端侧语言基座模型。核心能力工具调用支持 Function Calling可接入外部 API、文件系统深度搜索多轮搜索 信息提取 答案合成代码生成代码推理与生成效率较前代提升 2.4 倍长文本处理512K 上下文窗口实测 12.5 万 token 仍可准确召回混合思考快速模式延迟 50ms深度模式 500-800ms训练体系阶段规模说明Agent Midtraining200B tokens通用知识与 Agent 能力基础训练Agent SFT100万轨迹覆盖工具调用、Search、CodeAgent、General AgentAgent RLJustRL II 策略GRPO Critic 词元级信用分配与 5 月底开源的 MiniCPM5-1B 不同2B 版本在 7 月 WAIC 2026 上首次亮相但未开源开发者在 HuggingFace 上追问两个月后9 月 8 日正式放出。二、榜单数据凭什么 2B 能打赢 12B2.1 AA Intelligence Index 综合榜Artificial Analysis 权威评测中MiniCPM5-2B 以 23 分位列全球 4B 以下开源模型第一模型参数量AA 智能指数排名MiniCPM5-2B2B231Gemma 4 12B12B222Qwen3.5 9B9B223Qwen3.5 4B4B204参数量是 Gemma 4 12B 的六分之一分数反而更高。这就是面壁智能「密度定律」的最新印证达到特定智能水平的模型参数量每 3.5 个月减半。2.2 Agentic Index 智能体榜断层领先模型参数量Agentic IndexMiniCPM5-2B2B20Granite 4.2 8B8B9Qwen3.5 9B9B7gpt-oss-20b20B3同级 2B-3B 模型2-3B220 分 vs 第二名 9 分差距超过一倍。同级 2B-3B 模型普遍只有 2 分这是端侧模型首次在通用 Agent 能力上展现出可用雏形。2.3 GDPval-AA v2 真实工作任务榜以人类基线 1000 分为锚点的 Elo 评分模型GDPval-AA v2与人类差距MiniCPM5-2B891-109Granite 4.2 8B702-298Granite 4.2 3B325-675Ministral 3 3B286-714MiniCPM5-2B 是所有参评模型中最接近人类水平的一个领先第二名近 190 分。2.4 推理效率不靠堆 token 换分数完成同样任务MiniCPM5-2B 平均仅消耗 21K 输出 token推理 14K 回答 7K全场最低一档。作为对比Qwen3.5 9B 需要 34KGranite 4.2 8B 需要 26K。对端侧部署来说更少的 token 意味着更快的响应和更低的功耗。综合 benchmark 平均分 53.9同级第二名仅 33.2甚至超过了参数量翻倍的 Qwen3.5-4B51.1。三、硬件需求最低什么配置能跑MiniCPM5-2B 的端侧定位意味着硬件门槛极低部署方式量化模型体积最低内存推荐配置INT4 量化Q4_K_M~1.2GB4GB8GB 内存INT8 量化Q8_0~2.5GB8GB16GB 内存FP16 全精度无~5.0GB12GB16GB 或 GPU 8GB硬件适配生态9 款 AI 芯片 多平台NVIDIA GPU20 系及以上CUDA 加速Intel酷睿 Ultra 系列 XPU 全异构算力CPUGPUNPU通过 OpenVINO 优化AMDROCm 支持ARM 端侧瑞芯微、联发科天玑系列国产芯片华为昇腾、海光、昆仑芯等纯 CPU面壁自研 arclight 框架Intel/AMD CPU 均可运行关键结论4GB 内存的电脑就能跑 INT4 量化版不需要独立显卡。这对「端侧 Agent」的普及意义重大——你的旧笔记本也能成为本地 AI 助手。四、方式一Ollama 一键部署最简单Ollama 是目前最简单的本地大模型部署方案三条命令搞定。4.1 安装 OllamaWindowsirmhttps://ollama.com/install.ps1|iexmacOS / Linuxcurl-fsSLhttps://ollama.com/install.sh|sh安装完成后验证ollama--version4.2 拉取并运行 MiniCPM5-2Bollama run minicpm5:2b首次运行会自动下载模型。如果 Ollama 库尚未收录可手动导入 GGUF 文件见下一节。4.3 手动导入 GGUFOllama 库未收录时从 ModelScope 下载 GGUF 量化文件后创建 ModelfileFROM ./minicpm5-2b-q4_k_m.gguf PARAMETER num_ctx 32768 PARAMETER temperature 0.7 PARAMETER top_p 0.8 TEMPLATE {{ .System }} 用户: {{ .Prompt }} 助手: SYSTEM 你是 MiniCPM5-2B一个由面壁智能训练的端侧 AI 助手。导入并运行ollama create minicpm5-2b-fModelfile ollama run minicpm5-2b4.4 通过 API 调用Ollama 默认在 11434 端口提供 OpenAI 兼容 APIcurlhttp://localhost:11434/api/chat-d{ model: minicpm5:2b, messages: [{role: user, content: 用 Python 写一个快速排序}], stream: false }Python 调用fromollamaimportchat responsechat(modelminicpm5:2b,messages[{role:user,content:解释什么是 Agent 的工具调用}])print(response[message][content])五、方式二llama.cpp 手动部署最灵活llama.cpp 是 C 实现的高性能推理引擎支持全平台和各类量化方案。5.1 编译安装gitclone https://github.com/ggerganov/llama.cppcdllama.cppmakeGGUF_CUDA1# 有 NVIDIA 显卡加此参数纯 CPU 去掉5.2 下载 GGUF 量化模型国内用户推荐从 ModelScope 下载速度快pipinstallmodelscope python-c from modelscope import snapshot_download snapshot_download(openbmb/MiniCPM5-2B-GGUF, cache_dir./models) 或者从 HuggingFace 下载需科学上网pipinstallhuggingface_hub python-c from huggingface_hub import snapshot_download snapshot_download(openbmb/MiniCPM5-2B-GGUF, cache_dir./models) 下载完成后在 models 目录找到.gguf文件推荐使用Q4_K_M量化版本体积与质量最佳平衡。5.3 启动推理./llama-server\-m./models/minicpm5-2b-q4_k_m.gguf\-c32768\-n512\--port8080参数说明-c 32768上下文窗口设为 32K按需调整最高可到 512K 但显存占用大-n 512单次生成最大 token 数--port 8080API 服务端口启动后访问http://localhost:8080即可对话也支持 OpenAI 兼容 API 调用。5.4 纯命令行对话./llama-cli\-m./models/minicpm5-2b-q4_k_m.gguf\-c4096\-p你是一个端侧 AI 助手。请用中文回答MiniCPM5-2B 的 Agent 能力体现在哪些方面六、方式三vLLM / SGLang 高性能部署适合有 GPU 服务器、需要高并发场景的开发者。6.1 vLLM 部署pipinstallvllm vllm serve openbmb/MiniCPM5-2B\--port8000\--max-model-len32768\--gpu-memory-utilization0.9vLLM 优势在于 PagedAttention 和连续批处理适合多用户并发调用。MiniCPM5-2B 只有 2B 参数即使是 4GB 显存的入门级 GPU 也能跑。6.2 SGLang 部署pipinstallsglang python-msglang.launch_server\--model-path openbmb/MiniCPM5-2B\--port30000\--context-length32768SGLang 在 Agent 场景下有针对性优化支持约束解码和前缀缓存适合需要大量结构化输出JSON的 Agent 任务。七、方式四LM Studio 图形界面部署零命令行如果你不想碰命令行LM Studio 是最友好的方案。到 lmstudio.ai 下载安装打开后在搜索栏输入MiniCPM5或minicpm5选择 2B 版本点击 DownloadLM Studio 会自动根据你的机器配置推荐合适的量化版本下载完成后在 Chat 标签页直接对话在 Local Server 标签页可以一键开启 OpenAI 兼容 API 服务LM Studio 底层基于 llama.cpp性能与手动编译版接近但省去了所有环境配置步骤。八、Agent 能力实测工具调用 文件操作MiniCPM5-2B 的核心卖点是端侧 Agent 能力。下面用一个实际例子验证。8.1 接入磁盘工具给模型提供 4 个文件操作工具importjsonimportosfromopenaiimportOpenAI clientOpenAI(base_urlhttp://localhost:8080/v1,api_keynone)tools[{type:function,function:{name:list_dir,description:列出指定目录下的文件,parameters:{type:object,properties:{path:{type:string,description:目录路径}},required:[path]}}},{type:function,function:{name:read_file,description:读取文件内容,parameters:{type:object,properties:{path:{type:string,description:文件路径}},required:[path]}}},{type:function,function:{name:write_file,description:写入文件,parameters:{type:object,properties:{path:{type:string,description:文件路径},content:{type:string,description:写入内容}},required:[path,content]}}},{type:function,function:{name:search_files,description:按关键词搜索文件,parameters:{type:object,properties:{directory:{type:string,description:搜索目录},keyword:{type:string,description:搜索关键词}},required:[directory,keyword]}}}]8.2 执行 Agent 任务defexecute_agent_task(task_prompt):messages[{role:system,content:你是一个端侧文件管理 Agent。你可以调用工具来读取、写入和搜索文件。},{role:user,content:task_prompt}]responseclient.chat.completions.create(modelminicpm5-2b,messagesmessages,toolstools,temperature0.3)msgresponse.choices[0].message# 如果模型决定调用工具ifmsg.tool_calls:forcallinmsg.tool_calls:func_namecall.function.name argsjson.loads(call.function.arguments)# 执行工具iffunc_namelist_dir:resultos.listdir(args[path])eliffunc_nameread_file:withopen(args[path],r)asf:resultf.read()eliffunc_namewrite_file:withopen(args[path],w)asf:f.write(args[content])result文件写入成功eliffunc_namesearch_files:result[fforfinos.listdir(args[directory])ifargs[keyword]inf]# 将工具结果送回模型messages.append(msg)messages.append({role:tool,tool_call_id:call.id,content:str(result)})# 模型根据工具结果生成最终回复finalclient.chat.completions.create(modelminicpm5-2b,messagesmessages,temperature0.3)returnfinal.choices[0].message.contentreturnmsg.content# 测试故意说错文件名看模型能否自己找到resultexecute_agent_task(notes 目录里有个 meeting.md帮我整理成会议纪要写到 output/纪要.md)print(result)实测结果基于公开评测数据文件不存在时模型会主动调用list_dir找到真实文件名5 轮测试落盘成功率 5/5会议转写稿压缩至约 1/4 篇幅平均处理速度 12 秒/轮未指定负责人的待办项标注「待定」5/5 未编造人名8.3 并发结构化抽取另一个实测场景50 份合成简历16 路并发结构化抽取跑 3 轮单轮 23 秒跑完 50 份150 次调用 JSON 合法率 150/150字段级准确率 97.1%字段缺失时正确返回 null低幻觉九、混合思考模式快答与深想灵活切换MiniCPM5-2B 原生支持混合思考Hybrid Thinking可在两种模式间切换快速模式Fast Mode跳过思维链直接输出延迟 50ms适合简单问答、闲聊、快速摘要深度模式Deep Mode启用完整思维链推理延迟 500-800ms适合数学推理、代码生成、复杂 Agent 任务切换方法通过 system prompt 或参数控制# 快速模式不要求展示推理过程messages[{role:system,content:直接回答不需要推理过程。},{role:user,content:北京的人口是多少}]# 深度模式要求展示推理过程messages[{role:system,content:请逐步推理后给出答案。},{role:user,content:一个水池有两个进水管单独分别需要 6 小时和 8 小时注满两个管同时开需要多久}]端侧场景下这个设计很实用日常对话用快速模式省电省时复杂任务切深度模式保证准确率。十、长文本实测512K 上下文不是噱头官方标称 512K 上下文窗口。实测情况输入长度召回准确率说明32K100%完全可用64K100%完全可用125K准确召回3.3万字合同15个问题全对其中5道原文无关键词的题也全对200K开头和结尾记住中间模糊需要压缩或分块处理实际建议32K 以内放心用无需任何处理32K-128K可用建议在 prompt 末尾重复关键指令128K 以上建议分块处理或用 RAG 方案不要直接塞进去对比参考即便是支持 1M 上下文的 Claude超过 300K 也需要手动压缩。2B 模型能到 125K 已经远超预期。十一、开源生态不止权重连训练配方都给了这次开源的不仅是模型权重还包括完整的训练体系11.1 四个数据集数据集用途规模UltraX预训练数据治理0.6B 小模型行级自动编辑网页数据UltraData-Code代码预训练L0-L3 分级从 1.92 亿 GitHub 仓库逐级精炼L2 约 400B tokenL3 约 150B tokenUltraData-SFT-Agent-2609Agent SFT50万 Agent 轨迹覆盖工具调用、Search、CodeAgent、General AgentUltraData-RL-2609RL 后训练三阶段清洗可验证性过滤 → 多模型共识校验 → 难度筛选11.2 RL 框架 Meshygitclone https://github.com/OpenBMB/MeshycdMeshy pipinstall-e.Meshy 的核心设计去掉中央控制器和 Ray 依赖训练、推理、奖励计算全部建模为对等服务TransferQueue 数据就绪状态驱动控制流同步、异步、全异步三种模式灵活切换11.3 JustRL II 算法解决端侧模型长思维链 RL 中分数不升反降的问题数据侧三阶段流水线筛选校准训练数据算法侧给 GRPO 装上 Critic实现词元级信用分配截至 2026 年 8 月MiniCPM 系列开源下载量已突破 5000 万次。UltraData 系列数据集总下载量超过 266 万次。十二、微调用 LLaMA-Factory 定制你的 Agent如果你想在 MiniCPM5-2B 基础上微调自己的 Agentgitclone https://github.com/hiyouga/LLaMA-FactorycdLLaMA-Factory pipinstall-e.准备训练数据JSON 格式参考 UltraData-SFT-Agent-2609 格式[{messages:[{role:user,content:帮我查一下今天的天气},{role:assistant,content:null,tool_calls:[{function:{name:get_weather,arguments:{\city\: \北京\}}}]},{role:tool,content:{\temp\: 25, \weather\: \晴\}},{role:assistant,content:北京今天晴气温25度。}]}]启动 LoRA 微调llamafactory-cli train\--model_name_or_pathopenbmb/MiniCPM5-2B\--datasetyour_agent_data.json\--finetuning_typelora\--lora_rank16\--output_dir./minicpm5-agent-lora\--num_train_epochs3\--per_device_train_batch_size4\--gradient_accumulation_steps4\--learning_rate5e-52B 模型的 LoRA 微调在单张 8GB 显存的 GPU 上即可完成训练速度也很快。十三、CPU 纯推理arclight 框架面壁智能自研了 CPU 推理框架 arclight专门针对端侧 CPU 场景优化。这意味着没有独立显卡的电脑也能跑 MiniCPM5-2B。arclight 的优化方向针对 Intel/AMD CPU 的 AVX2/AVX512 指令集优化内存占用极低INT4 量化仅需 1.2GB 内存支持热加载模型加载后常驻内存后续调用零延迟适用场景老旧笔记本、迷你主机、工控机、车机等无 GPU 设备。十四、部署方式对比与选型建议方案难度性能适用场景Ollama极低中个人使用、快速验证LM Studio极低中完全不想碰命令行llama.cpp中高需要精细调参、量化方案选择vLLM中高多用户并发、API 服务SGLang中高Agent 任务、结构化输出ModelScope低中国内用户快速下载arclight中低纯 CPU、无 GPU 设备选型决策树你是新手只想试试→ Ollama 或 LM Studio你有 GPU要跑 API 服务→ vLLM 或 SGLang你想精细控制量化参数→ llama.cpp你的电脑没有显卡→ arclight 或 llama.cpp纯 CPU 模式你要微调定制 Agent→ LLaMA-Factory ms-swift十五、FAQ常见问题Q1MiniCPM5-2B 和 Qwen3.5-2B 选哪个综合评测 MiniCPM5-2B 平均分 53.9Qwen3.5-2B 为 33.2差距明显。Agent 能力上 MiniCPM5-2B 更是断层领先20 vs 2。如果你的用途偏向 Agent 和工具调用选 MiniCPM5-2B。如果只是简单对话两者都能用。Q24GB 内存真能跑INT4 量化后模型仅 1.2GB加上推理时的 KV Cache 开销4GB 内存可以跑但上下文窗口需要限制在 4K-8K。建议 8GB 内存以获得更好体验。Q3和云端 APIGPT-4 等相比差多少通用知识问答差距不大复杂推理和多步骤 Agent 任务仍有明显差距。但端侧的核心价值是隐私安全、离线可用和零成本长期使用。处理敏感数据时数据不离开设备是合规优势。Q4支持中文吗支持。MiniCPM 系列从一开始就是中英双语模型中文能力在同级模型中属于第一梯队。Q5能接入 MCP 协议吗可以。MiniCPM5-2B 支持 Function CallingMCP Server 暴露的 Tool 接口可以直接作为 function 传给模型。配合 SGLang 的约束解码功能结构化输出更稳定。Q6Ollama 还没收录怎么办模型刚开源社区适配需要时间。可以手动下载 GGUF 文件后用 Modelfile 导入 Ollama或直接用 llama.cpp。十六、总结端侧 Agent 时代的开端MiniCPM5-2B 的开源意义不在于跑分有多高而在于它首次在 2B 参数规模上验证了端侧通用 Agent 的可行性20 分的 Agentic Index 让同级模型普遍 2 分望尘莫及891 分的 GDPval 接近人类基线 1000 分INT4 量化仅 1.2GB4GB 内存可跑连训练数据、RL 框架、训练配方全开源9 款国产芯片适配从华为昇腾到瑞芯微全覆盖当 Agent 从云端走向终端从「按 Token 付费」变成「一次部署零成本」AI 的触达方式将被重新书写。你的旧电脑今天就可以成为第一个端侧 Agent 驻地。资源获取本文涉及的模型文件、部署脚本、Agent 测试代码、训练数据集地址等资源已整理至网盘夸克网盘资源包 1AIGC 资源 / 工作流模板https://pan.quark.cn/s/a7d5cb0d9fbe夸克网盘资源包 2ComfyUI 整合包 / 模型资源合集https://pan.quark.cn/s/a8a75ed5ef5a赛博仓鼠专注 AI 工具深度部署与资源分享。CSDN / 知乎 / B站 / 闲鱼统一品牌名所有平台免费分享。