一个极简的本地大模型集群代理工具（约1100行代码），用于高效管理本地部署的LLM服务，支持负载均衡与快速调试。
▲21/天
为什么值得关注
访问 Hacker News 页面 →
轻量级、可自定义的本地LLM代理，满足开发者对私有化模型部署的灵活控制与低延迟访问需求，是本地AI开发的实用利器。
手机端点「分享」直达微信/朋友圈/小红书;桌面端用「复制文案」后到 App 内粘贴发布
轻量级、可自定义的本地LLM代理，满足开发者对私有化模型部署的灵活控制与低延迟访问需求，是本地AI开发的实用利器。