# 本地部署
17 个相关产品 · 中文解读 · 按热度排序
Frugon – Find which LLM calls a cheaper model could handle (local, MIT)
一个本地运行的工具，能识别哪些LLM请求可由更便宜的模型替代，帮助开发者节省API成本，适合成本敏感型AI项目。
Samosa Chat - Run Qwen3.6-35B-A3B Locally on a 16 GB Mac
在 16GB 内存的 Mac 上本地运行 Qwen3.6-35B-A3B 大模型，降低大模型本地部署门槛，适合开发者和 AI 爱好者进行本地实验与开发
Run GLM-4.5-Air(110B)on a 16GBRAM consumer machine
在仅 16GB 内存的消费级设备上运行 1100 亿参数的 GLM-4.5-Air 大模型，突破硬件限制，让普通用户也能本地部署超大规模语言模型，解决大模型本地化部署成本高、硬件要
Makes local LLMs faster and more reliable by optimizing for your device
通过设备优化让本地大模型运行更快更稳定，解决本地部署模型性能瓶颈，适合开发者与技术爱好者。
agentscope-ai/QwenPaw
个人AI助手平台，支持本地或云端部署，可轻松接入多聊天应用，具备高度可扩展能力，适合希望掌控数据隐私的开发者与个人用户。
Gemini Distillation Service
一个用于将大型语言模型（如Gemini）蒸馏为更小、更高效模型的服务，适合开发者在本地或边缘设备上部署轻量级AI模型，支持模型压缩与性能优化。
mostlygeek/llama-swap
Llama-Swap 是一个本地大模型管理工具，支持在 llama.cpp、vLLM 等服务间无缝切换模型，提升本地 AI 服务的可用性与灵活性。
mudler/LocalAI
开源本地 AI 引擎，可在无 GPU 的设备上运行各类大模型（文本、图像、语音等），支持本地化部署与低资源环境运行。
mozilla-ai/llamafile
LlamaFile 是一个单文件分发与运行大语言模型的工具，无需复杂环境配置，开箱即用，支持本地运行 LLM，适合隐私敏感或离线场景。
Noofy
本地运行的AI工作流设计工具，通过简单仪表板实现复杂AI任务的可视化编排，适合开发者和设计师在本地部署AI应用。
AlexsJones/llmfit
Rust 编写的 LLM 本地推理工具，一键检测你的硬件能运行哪些大模型与服务商，极大简化本地部署门槛。
Be the ChatBOT
一个可自定义的本地聊天机器人框架，允许开发者快速构建和部署专属AI聊天助手，适合需要私有化部署和高度定制的团队或个人用户。
iebb/NekokoLPA2
NekokoLPA2 是一个基于 Dart 的轻量级本地语音助手项目，支持离线运行，专注于隐私保护与低延迟响应。
raullenchai/Rapid-MLX
专为Apple Silicon优化的本地AI引擎，性能比Ollama快4.2倍，支持工具调用、缓存推理与云路由，可无缝替代OpenAI接口
ai-sage/GigaChat3.1-Audio-10B-A1.8B · Hugging Face
基于Hugging Face的GigaChat 3.1音频模型，支持10B参数规模的语音理解与生成，适用于本地部署的多语言语音交互应用，适合开发者与AI研究者快速构建语音AI功能。
MiniMax (official) on X: "Open weights. Open research. Open innovation.🫶 Marching for an open future.🤍
MiniMax 开源其模型权重与研究，推动本地大模型生态发展，适合开发者与AI研究者快速部署和实验本地大模型。
Kimi K3 countdown has been released
Kimi K3 countdown 是一个用于本地运行 Kimi K3 大模型的轻量级工具，帮助开发者在本地快速部署和测试大语言模型，特别适合对模型推理性能和隐私有要求的用户。