值得长期关注的开源 AI 项目：基础设施层的六个宝藏

看一个开源生态是否健康，不要只看模型仓库的 Star 数，要看它「下游的工具链」是否繁荣。模型只是原料，真正决定落地效率的是推理、微调、评测、部署这些基础设施。本文盘点六个我们认为值得长期投入关注的开源项目。

vLLM：推理 serving 的事实标准

vLLM 凭借 PagedAttention 与持续批处理（continuous batching），把 GPU 推理吞吐拉到原生实现的数倍。几乎所有私有化部署方案的底层都是它或它的分支。值得关注的方向：多 LoRA 并发服务、异构 GPU 混部。选型建议：除非有极端延迟要求（此时考虑 TensorRT-LLM），vLLM 是默认答案。

Ollama：本地开发者的入口

如果说 vLLM 服务生产，Ollama 服务「体验」：一行命令在笔记本上跑起开源模型，Modelfile 把模型配置版本化。它不是性能最好的，但是摩擦最小的——大量开发者的本地模型第一课都是 Ollama 给的。适合原型验证、离线场景与端侧 PoC。

LLaMA-Factory：微调的低代码入口

微调的门槛从「写训练脚本」降到「填 YAML」：LLaMA-Factory 集成了主流模型的 LoRA/QLoRA 全流程，WebUI 可视化训练。生产级微调仍需要理解数据配比与超参，但它把「跑通第一个 LoRA」的时间从一周压到一小时，是团队建立微调直觉的最佳起点。

Langfuse：LLM 应用的可观测层

Langchain 生态的碎片化催生了一批「胶水层」项目，Langfuse 是其中工程质量最好的：trace 追踪、prompt 版本管理、评测数据集、成本核算一站式。自托管版本对数据敏感团队友好。任何跑超过三个 LLM 节点的应用，都该配一个 Langfuse——没有 trace 的 LLM 应用等于没有日志的传统服务。

Dify / RAGFlow：应用层编排的两条路线

这两个项目代表应用编排的两种哲学：Dify 走低代码画布路线，业务人员可上手，适合快速验证与内部工具；RAGFlow 深耕检索质量，DeepDoc 文档解析对扫描件、表格的处理明显强于同类，适合知识库重度场景。不冲突——多数团队的架构是 RAGFlow 做检索层、Dify 做编排层。

OpenCompass：评测的公共基础设施

跑分榜一大堆，但可复现的评测体系稀缺。上海人工智能实验室的 OpenCompass 提供了标准化的评测框架与公开的结果快照，是国内模型横向对比最可信的公共参照系。选型时用它做初筛，再用自有业务评测集做终审，是当前最务实的评估流程。

写在最后

开源基础设施的投资逻辑与模型不同：模型会过时，但「管线能力」会复利。团队选基础设施时，优先考虑三点——社区活跃度（issue 响应速度）、向后兼容的版本纪律、以及与自己技术栈的贴合度。这六个项目在三个维度上，都经得起审视。