功能介绍

本地大模型推理的底层引擎，纯 C/C++ 编写，CPU 上也能流畅跑大模型。Ollama、LM Studio 等工具底层都用它。技术用户可以直接用它做极致优化，支持量化、GPU 加速，树莓派都能跑。