Nano vLLM 是一个轻量级、高性能的 Python 库，用于快速部署和推理大语言模型（LLM），适合开发者在资源受限环境中运行 LLM，支持低延迟、高吞吐的推理服务。
⭐14.4k20/天
为什么值得关注
访问 GitHub 页面 →
在边缘设备和低成本部署场景中实现高效 LLM 推理，填补了轻量化推理框架的空白。
手机端点「分享」直达微信/朋友圈/小红书;桌面端用「复制文案」后到 App 内粘贴发布
在边缘设备和低成本部署场景中实现高效 LLM 推理，填补了轻量化推理框架的空白。