EN
~/home / GitHub
GitHub · Go

vllm-project/semantic-router

基于 Go 语言的智能混合模型路由系统,能高效调度不同大模型以优化推理性能与成本,适合需要部署多模型的 AI 服务团队。
⭐5.0k7/天
为什么值得关注

通过动态路由实现异构大模型的高效协同,显著降低推理延迟与资源消耗。

AI推理优化Mixture-of-Models基础设施
访问 GitHub 页面 →
分享到 X
手机端点「分享」直达微信/朋友圈/小红书;桌面端用「复制文案」后到 App 内粘贴发布

同类产品

alibaba/open-code-reviewyorukot/superfileWei-Shaw/sub2apiXTLS/Xray-corenavidrome/navidromecharmbracelet/crush