资源库
LLM 框架 Open Source
面向大语言模型应用开发与编排的开源基础框架。
Chainlit
Chainlit/chainlit
用于构建对话式 LLM 应用前端的开源框架。
DSPy
stanfordnlp/dspy
通过编程方式优化提示与流水线的 LLM 框架。
Embedchain
embedchain/embedchain
用于快速构建 RAG 应用的开源框架。
Gradio
gradio-app/gradio
快速搭建机器学习演示界面的开源库。
Guardrails AI
guardrails-ai/guardrails
面向 LLM 输出校验与结构约束的开源框架。
Guidance
guidance-ai/guidance
用于约束生成与结构化控制模型输出的框架。
Hayhooks
deepset-ai/hayhooks
用于将 Haystack 管道部署为 API 的工具。
Instructor
jxnl/instructor
基于 Pydantic 从 LLM 提取结构化输出的工具库。
LangChain
langchain-ai/langchain
构建 LLM 应用的主流开源框架与组件生态。
LangChain.js
langchain-ai/langchainjs
LangChain 的 JavaScript/TypeScript 实现。
LitServe
Lightning-AI/LitServe
用于快速部署机器学习与 LLM API 的服务框架。
Marvin
PrefectHQ/marvin
面向 AI 工程的轻量 LLM 应用工具库。
Mirascope
Mirascope/mirascope
面向 Python 的 LLM 应用开发工具库。
NeMo Guardrails
NVIDIA-NeMo/NeMo-Guardrails
为 LLM 应用添加可编程护栏的开源工具包。
Outlines
dottxt-ai/outlines
面向结构化生成与输出约束的开源库。
Prompt Flow
microsoft/promptflow
微软面向提示流编排与评估的开发工具。
Semantic Router
aurelio-labs/semantic-router
基于语义路由选择工具与路径的开源库。
Txtai
neuml/txtai
面向语义搜索与工作流的嵌入式 AI 框架。