EN
~/home / GitHub
GitHub · Python

lightseekorg/tokenspeed

超轻量级LLM推理引擎，追求极致速度，适合在边缘设备或高并发场景下快速部署大模型推理服务。
⭐1.7k50/天
为什么值得关注

以“光速”为目标优化推理性能，填补了高效轻量级LLM部署的空白，适合对延迟敏感的应用场景。

AI推理引擎性能优化边缘计算
访问 GitHub 页面 →
分享到 X
手机端点「分享」直达微信/朋友圈/小红书;桌面端用「复制文案」后到 App 内粘贴发布

同类产品

bojieli/ai-agent-bookayghri/i-have-adhdvolcengine/OpenVikingbradautomates/claude-videoagentscope-ai/QwenPawNanmiCoder/MediaCrawler