高性能分布式存储系统的核心

时间:2022-08-30 03:29:35
高性能分布式存储系统的核心

      针对超高性能分布式存储的系统,需要高性能的网络和存储,例如要求100us内完成从A机器写入B机器1K数据。需要做的是选用高性能的软硬件解决方案,包括高性能网络硬件,高性能网络软件,高性能存储硬件,高性能存储软件。

      网络和存储硬件向着高吞吐低延迟的方向不断发展。网络环境上,从主流千兆网发展为双万兆,更高性能的RDMA很快将在公司铺开,规划中的100G网络将在19年初大规模应用;存储介质上,从经典HDD到NVMe SSD、3D XPOINT。新硬件us级别的延迟,使得性能瓶颈从网络、磁盘转移到了存储软件栈;新硬件的持续导入,在考验着存储软件架构的前瞻性。

      网络和存储的配套访问软件在随硬件快速进化。传统的内核态TCP、内核态文件系统被重新审视,一系列低延迟访问技术试图走向舞台*:Userspace TCP引起高度关注,RDMA网络技术将在集团落地,SPDK等用户态存储访问技术也被广泛尝试。软硬件一体化的设计和优化,成为存储产品进化的必然方向。

      新的存储形态和存储产品不断涌现。Flash Array,Hyper-Converged,Unified Storage,SDS等新存储形态逐渐被用户接受,ScaleIO,XtremIO,Nutanix,MapR,Infinidat,Hedvig等新存储产品层出不穷。如何博采众长、去芜存菁、持续创新,引发着存储人的不断思考。

       相关的技术研究点:

       1.  Infiniband

       2.  RDMA

       3.  spdk/dpdk

       4.  Accelio