DeepSeek开源第五弹：3FS并行文件系统

DeepSeek开源第五弹：3FS并行文件系统

2025年2月28日，DeepSeek在开源周的最后一天推出了Fire-Flyer文件系统（3FS），这是一款专为人工智能和高性能计算设计的并行文件系统。3FS充分利用现代固态硬盘（SSD）和远程直接内存访问（RDMA）网络，实现了卓越的性能。在180节点集群中，其总读取吞吐量高达6.6 TiB/s，而在25节点集群的GraySort基准测试中，吞吐量达到3.66 TiB/分钟。

3FS的特点包括并行数据访问、硬件利用优化以及去中心化架构，确保数据一致性。它还支持训练数据预处理、数据集加载、检查点保存/重载、嵌入向量搜索和KVCache查询推理等功能。KVCache的峰值吞吐量超过40 GiB/s，显著提升数据查询速度。

此外，DeepSeek还发布了基于3FS的数据处理框架Smallpond，进一步增强数据处理能力。3FS和Smallpond共同为AI数据处理设立新的标准，提供超快的处理速度和无缝集成。

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！