DeepSeek第五天开源猛料：3FS并行文件系统实现6.6 TiB/s吞吐量

2月28日，DeepSeek在开源周的最后一天放出了大招，宣布开源了高性能并行文件系统3FS（Fire-Flyer File System）。3FS专为应对AI训练和推理任务设计，充分利用了现代SSD和RDMA网络带宽，实现了惊人的性能。

在180节点集群测试中，3FS的总读取吞吐量达到了约6.6 TiB/s，每个客户端节点的KVCache查询峰值吞吐量超过40 GiB/s。这一性能表现堪比光速，为AI数据处理设立了新的标准。

3FS采用分离式架构，确保强一致性，并全面支持V3/R1的训练数据预处理、数据集加载、检查点保存/重载、嵌入向量搜索和KVCache查询推理。此外，DeepSeek还开源了基于3FS的数据处理框架Smallpond，具备高性能数据处理和可扩展性，能够处理PB级别数据集。

3FS和Smallpond的开源，标志着DeepSeek在AI数据处理领域迈出了重要一步，为开发者提供了更强大的工具和框架。