Inference & Serving

面向机器学习模型打包与服务的开源框架。

面向 Transformer 模型的快速推理引擎，常用于翻译与生成场景。

面向 GPU 的高效量化 LLM 推理引擎。

Hugging Face Inference Endpoints 官方文档，用于托管模型推理服务。

Kubernetes 上的标准化模型推理平台。

用 C/C++ 实现的高效本地 LLM 推理引擎。

Mozilla 开源的单文件本地 LLM 运行方案。

苹果开源的阵列框架，面向 Apple silicon 上的机器学习计算。

基于 MLX 的大语言模型运行与微调工具包。

用于本地运行与管理大语言模型的开源工具。

微软开源的生成式 AI ONNX Runtime 扩展，用于跨平台推理。

BentoML 开源的 LLM 服务框架，用于自托管模型 API。

Ray 官方模型服务文档，用于可扩展在线推理部署。

面向结构化生成与高吞吐 LLM 服务的推理运行时。

NVIDIA 开源的高性能大模型推理优化库。

Hugging Face 开源的生产级文本生成推理服务。

NVIDIA 开源的高性能多框架模型推理服务器。

面向大语言模型的高吞吐量推理与服务框架。