#并行文件系统

karminski-牙医

4个月前

DeepSeek 开源周的 5 号炸弹来啦！又是集束炸弹！3FS 和 smallpond！我不敢相信DeepSeek甚至颠覆了存储架构...... 我上次为网络文件系统震惊还是HDFS和CEPH. 但这些都是面向磁盘的分布式文件系统. 现在一个真正意义上面向现代SSD和RDMA网络的文件系统诞生了！飞火流星文件系统（3FS）- 一种利用现代 SSD 和 RDMA 网络全带宽的并行文件系统这个文件系统可以在 180 节点集群中达到6.6 TiB/s 总读取吞吐量，每个客户端节点 KVCache 查找峰值吞吐量 40+ GiB。另一个 smallpond（小池塘）是基于 3FS 的数据处理框架！这个框架由 DuckDB 提供的高性能数据处理，可扩展以处理 PB 级数据集！地址：地址： #DeepSeek #deepseek开源周

#DeepSeek #开源周 #集束炸弹 #3FS #smallpond #存储架构 #文件系统 #HDFS #CEPH #磁盘 #分布式文件系统 #SSD #RDMA网络 #飞火流星 #并行文件系统