技术博客
LeoRaid数据保护技术
摘要:LeoStor是一款性能优异的横向扩展NAS系统,双集群架构和智能切片技术,系统支持多副本和纠删码模式,支持分层存储技术,系统更稳定,反应更敏捷 。
LeoRaid
LeoRaid是LeoStor对数据保护技术的统称,包含多副本模式和N+M纠删码模式,当N = 1时,可以认为是副本模式,纠删码 N = 2、4、8、16,M = 1、2、3、4 ;LeoStor可针对某个目录单独设计冗余模型,而不是全套系统仅一个冗余模型。
模式 | 策略 | 有效空间利用率 |
副本 | LeoRaid 1+1 | 50% |
LeoRaid 1+2 | 33% | |
LeoRaid 1+3 | 25% | |
纠删码 | LeoRaid 2+1,N = 2 ,M= 1 | 66% |
LeoRaid 2+2,N = 2 ,M= 2 | 50% | |
LeoRaid 4+1,N = 4 ,M= 1 | 80% | |
LeoRaid 4+2,N = 4 ,M= 2 | 66% | |
LeoRaid 4+3,N = 4 ,M= 3 | 57% | |
LeoRaid 4+4,N = 4 ,M= 4 | 50% | |
LeoRaid 8+1,N = 8 ,M= 1 | 88% | |
LeoRaid 8+2,N = 8 ,M= 2 | 80% | |
LeoRaid 8+3,N = 8 ,M= 3 | 72% | |
LeoRaid 8+4,N = 8 ,M= 4 | 66% | |
LeoRaid 16+1,N = 16 ,M= 1 | 94% | |
LeoRaid 16+2,N = 16 ,M= 2 | 88% | |
LeoRaid 16+3,N = 16 ,M= 3 | 84% | |
LeoRaid 16+4,N = 16 ,M= 4 | 80% |
保护机制
LeoStor有多种策略保护机制,采用最严格的数据保护策略时,让数据保存更可靠、更安全,降低因硬件故障导致的文件损坏和团灭的概率,策略如下:
- 节点数量应不小于N+M值;
- 一个文件的切片数据尽可能分布在所有节点上;
- 一个文件的切片数据尽可能分布在所有硬盘上;
- 一个切片组的数据尽可能不在一个节点上,临时恢复除外;
- 一个切片组的数据尽可能不在一块硬盘上,临时恢复除外;
LeoStor允许M个节点同时故障,允许M块硬盘同时故障,即N + M : M;当出现硬盘故障的时候,系统将以1TB/15分钟的速度,将故障硬盘的数据还原到其他硬盘上,如果空余空间不足,则系统一直处于等待还原状态,若此时又有硬盘故障,可能会丢失数据。因此用户应1)尽可能降低网络压力,让故障数据快速同步完成,2)让存储空间有余量,建议预留至少3块硬盘或20%的富裕容量,以备系统不时之需。
数据恢复
例如:系统有7个存储节点,采用了一个LeoRaid 4+2冗余模型,假如,OSS-2节点出现了故障,系统启动恢复机制。
按照LeoRaid策略,LeoStor在剩余节点中,寻找尚没有被该切片组用过的节点和硬盘,然后进行切片和纠删码数据的恢复操作;节点故障后,剩余节点数6个节点,当再有节点故障的时候,系统进入基于硬盘的保护模式,即DiskRaid模式,系统读、写仍然正常。
用户应建立良好的数据备份习惯,做到实时、定时等多种策略备份,可将LeoStor存储系统与其他存储设备作为异构备份平台。