有哪些开源的本地运行AI模型代理 AI agent?(2026)
有。截至 2026 年 8 月 9 日,KanonAgent 库内做「本地运行AI模型代理」的 179 个 AI agent 中,有 34 个判定为开源(判定要求原文引文,读不出即留空);本页按真实热度收录其中 12 个。
共有12个开源agent同时满足本地运行与开源条件。开源意味着代码可审计、可自建部署，避免API依赖和数据外泄。 这对本地AI代理任务而言，直接决定了能否在无网环境下长期稳定运行并保护敏感数据。
更新 2026-08-09 · 12 个产品 · 数据来自 KanonAgent
用llamafile或GGUF模型在CLI中本地离线写代码，完全开源可自编译部署。
2. speech-to-speech6.1k upvotes
基于开源语音模型构建本地speech-to-speech代理，实现完全离线语音交互。
3. osaurus17 upvotes
macOS原生开源工具，支持本地离线运行多模型代理并持久记忆。
浏览器扩展开源实现本地LLM运行，保障隐私且无需联网。
5. anything-llm64.5k upvotes
自托管开源平台，专注本地first LLM代理，完全掌控数据不依赖云端。
6. QwenPaw34.3k upvotes
开源部署在本地或私有云，支持多平台接入的个人AI助手。
7. agenticSeek26.8k upvotes
全本地开源agent，能自主浏览和写代码，仅靠本地电力运行。
8. cc-haha14.0k upvotes
本地优先开源桌面工作区，支持多Claude代理协同代码任务。
9. boxlite2.2k upvotes
微型开源VM让AI代理在笔记本上本地运行，可弹性扩展。
10. BitFun1.6k upvotes
桌面级开源agent runtime，内置记忆与个性，支持本地长期陪伴。
11. helix796 upvotes
开源私有agent舰队，支持Spec Coding与本地GPU加速桌面。
12. Agent-Reach69.5k upvotes
开源CLI工具本地跨平台搜索全网内容，无API成本。
怎么选
优先选明确支持GGUF/llamafile或自托管部署的agent，验证其GitHub活跃度与许可证。注意本地运行对GPU/内存要求高，隐性成本包括首次模型下载时间与存储空间。常见坑是部分agent虽标本地却仍需外部API回退，部署前必须确认纯离线能力。权衡时把开源社区维护频率放在首位，避免半年无人更新的项目。
这批 agent 的事实面
以下数字由代码从库里算出,分母是本页的 12 个产品;判定字段读不出就留空,不推测(判定方法论)。
自主度L3 × 2 · L2 × 9 (11/12 有判定)
计费完全免费 × 2 (2/12 有判定)
前置条件开源 × 12 · 可自托管 × 8
常见集成MCP(模型上下文协议) × 2
收录时间2026-07-08 — 2026-07-28
本页排名来自库内真实热度,不接受付费收录;判定字段一律要求原文引文,读不出就留空。完整判据、阈值与已知局限见判定方法论。
常见问题
这些agent都需要什么硬件才能流畅本地运行？
多数需要至少8GB显存的GPU，纯CPU运行速度会明显下降。
开源后如何保证长期更新和安全补丁？
查看GitHub star数、最近commit频率和issue响应速度，优先选社区活跃的项目。
本地模型和云端模型效果差距大吗？
2026年本地7B-13B模型已接近早期GPT-4水平，但复杂推理仍落后云端旗舰版。