~/home / tags / 模型推理

# 模型推理

2 个相关产品 · 中文解读 · 按热度排序
ikawrakow/ik_llama.cpp
llama.cpp 的增强版,支持最新的高性能量化模型(SOTA quants),可在本地 CPU 上高效运行大语言模型,适合希望在无 GPU 环境下使用 LLM 的开发者。
Gemma 4 26B A4B running on an iPhone 17 Pro via model paging
Gemma 4 26B A4B 模型通过模型分页技术成功在 iPhone 17 Pro 上运行,实现本地大模型推理,面向开发者和 AI 爱好者,突破移动设备运行大模型的性能边界。
其他标签