文档中心#

FlagOS

一个统一的开源系统软件栈,专为多种 AI 芯片设计

FlagOS 概览 FlagOS 2.2 新特性 云端芯片适配指南 端侧芯片适配指南

FlagOS 核心库#

算子库

面向多种硬件后端优化的高性能算子库。

编译器

FlagTree

面向多种 AI 芯片的开源统一编译器,在多种硬件平台上推进和扩展 Triton 生态系统。

训练与推理框架

FlagScale

全面支持大模型全生命周期的工具集,涵盖从训练到推理和部署。

通信库

FlagCX

面向跨芯片环境的可扩展自适应统一通信库,提供高性能集合通信能力。


FlagOS 多芯片插件#

vllm-plugin-FL

vLLM 推理/服务框架插件,基于 FlagOS 统一多芯片后端构建。

Megatron-LM-FL

Megatron-LM 的分支,引入插件化架构以支持多种 AI 芯片,基于 FlagOS 构建。

TransformerEngine-FL

TransformerEngine 的分支,引入插件化架构以支持多种 AI 芯片,基于 FlagOS 构建。

verl-FL

veRL 的分支,通过 FlagOS 生态系统扩展上游库的多芯片/多硬件支持。

Torch-FL

为多种 AI 芯片提供统一 flagos 设备的自定义 PyTorch 设备插件。

sglang-plugin-FL

SGLang 的树外 (OOT) 插件,基于 FlagOS 统一多芯片后端构建,将 SGLang 的推理能力扩展到多种硬件平台。

verl-hardware-plugin

面向上游 verl 强化学习后训练工作负载的多芯片硬件平台和引擎插件,覆盖 NVIDIA、沐曦、天数智芯、寒武纪 MLU、燧原和 Intel XPU 硬件。


FlagOS 领域专用项目#

FlagOS-Robo

面向机器人 AI 模型的集成训练与推理框架,即具身智能。

FlagQuantum

基于 PyTorch 构建的高性能分布式量子态矢量模拟器,支持跨多 GPU 的量子电路模拟。


FlagOS 开发者工具#

KernelGen

算子自动生成工具。

KernelGenBench

用于评估跨多硬件平台 LLM 和 Agent 驱动的 Triton kernel 生成的基准测试框架。

FlagOS-Compressor

用于本地 Hugging Face 模型目录的检查点转换与量化工具。

FlagOS Skills

兼容 Claude Code、Cursor、Codex 以及任何支持 Agent Skills 标准的 Agent。

https://github.com/flagos-ai/skills
线上实验室

提供云端开发环境的线上实验室。

FlagPrism

面向 Triton 程序的多后端调试与性能分析工具。


FlagOS 平台服务#

FlagRelease

开源大模型跨芯片迁移与发布的自动化平台。

FlagPerf

集成式 AI 硬件评测引擎。

FlagCICD

简化跨多种 AI 芯片大模型开发的 CI/CD 工具链。

https://docs.flagos.io/projects/FlagCICD/zh-cn/latest/

开始使用 FlagOS

加入我们,共建开放 AI 芯片开发生态

FlagOS 主页