DeepSeek开源周第五天：3FS、用于所有DeepSeek数据访问的Thruster

据悉，DeepSeek发布了Fire-Flyer文件系统(3FS)，该系统利用现代SSD和RDMA网络实现全带宽并行文件传输。该系统在180节点集群中实现了6.6TiB/s的聚合读取吞吐量，在25节点集群中完成GraySort基准测试，并达到每分钟3.66TiB的吞吐量。此外，每个客户端节点的KVCache查找峰值吞吐量超过40GiB/s，并具备强一致性语义分解架构。3FS可应用于V3/R1进行训练数据预处理、数据集加载、检查点保存/重新加载、嵌入向量搜索以及KVCache查找推理等任务