EN
~/home / GitHub
GitHub · C++

vllm-project/vllm-ascend

vLLM-Ascend 是 vLLM 框架在华为 Ascend 系列芯片上的社区驱动硬件插件,提升大模型推理性能,推动国产 AI 芯片生态发展。
⭐2.5k🔥 +10 近1日
为什么值得关注

填补 vLLM 对国产 Ascend 芯片支持的空白,助力国产 AI 硬件在大模型推理场景中实现高性能落地。

AI大模型基础设施国产芯片
访问 GitHub 页面 →
分享到 X
手机端点「分享」直达微信/朋友圈/小红书;桌面端用「复制文案」后到 App 内粘贴发布

同类产品

ggml-org/llama.cppamnezia-vpn/amnezia-clientjrouwe/JoltPhysicsFincept-Corporation/FinceptTerminaldoitsujin/dxvkocornut/imgui