Hi,大家好,我是编程小6,很荣幸遇见你,我把这些年在开发过程中遇到的问题或想法写出来,今天说一说
重组raid0_自建nas方案,希望能够帮助你!!!。
创作说明:关于NAS的数据问题,很多人都有各自的看法,也有自己独特的玩法,大家对于数据安全的认识并不一样,这次我们就整合各种玩法,希望对大家能够产生帮助。
创作态度:本文示例机为威联通TS-963N,所以部分功能可能为威联通平台的特色功能,如有其它的玩法,也欢迎在评论区交流。
创作目录:
1、讲RAID阵列,安全、容量、性能何去何从?
2、谈谈快照备份,它是否万无一失?
3、3-2-1备份策略是什么?
4、NAS如何使用云端备份?
5、总结
创作正文:
本次示例机型是威联通高效能超值机种——威联通TS-963N。
威联通TS-963N是一台拥有9个盘位的半万兆NAS,它采用了AMD G-Series GX-420MC 四核心 2.0 GHz 处理器,标配4 GB 内存 (可扩充至16 GB),不仅提供1 个 Gigabit 网络端口,更直接配备5GbE 5GBASE-T网络端口,可有效支持5Gbps的网络环境。
威联通TS-963N 提供5个3.5英寸和4个 2.5 英寸硬盘槽,其中4个 2.5 英寸专用硬盘槽可安装高速的固态硬盘 (SSD)。玩家可配置 SSD 高速缓存功能,从而提升数据读写、数据库、虚拟化等效能。而且玩家也可启用 Qtier,为磁盘区和 iSCSI LUN 提供自动分层存储及类快取机制,全面提升存储性价比。
1、讲RAID阵列,安全、容量、性能何去何从?
磁盘阵列(Redundant Arrays of Independent Disks,RAID),有“独立磁盘构成的具有冗余能力的阵列”之意。磁盘阵列是由很多价格较便宜的磁盘,组合成一个容量巨大的磁盘组,利用个别磁盘提供数据所产生加成效果提升整个磁盘系统效能。利用这项技术,将数据切割成许多区段,分别存放在各个硬盘上。
简而言之,RAID可以提供安全性、读写性能、存储池容量,具体根据阵列类型而定!
RAID方案常见的可以分为5种。
RAID 0、RAID 1、RAID 5、RAID 6、RAID 10
RAID 0无冗余备份,存储池包含所有硬盘容量,硬盘全部用来提升读写能力。简单而言:假设10块硬盘组成RAID 0阵列,存储池读写能力变成单个硬盘的读写能力的10倍!硬盘只要损坏一块,数据会立刻丢失。
RAID 1是一种镜像磁盘阵列,其原理就是把一块硬盘的数据以相同位置指向另一块硬盘的位置。RAID 1又称为Mirror或Mirroring,它的宗旨是最大限度的保证用户数据的可用性和可修复性。它只支持2块硬盘。存储池容量只有单块硬盘容量大小,不能提高存储性能,硬盘可以允许随机损坏一块。其高数据安全性,尤其适用于存放重要数据,如服务器和数据库存储等领域。
RAID 5将数据以块为单位分布到各个硬盘上。RAID5不对数据进行备份,而是把数据和与其相对应的奇偶校验信息存储到组成RAID5的各个磁盘上,并且奇偶校验信息和相对应的数据分别存储于不同的磁盘上。当RAID5的一个磁盘数据损坏后,利用剩下的数据和相应的奇偶校验信息去恢复被损坏的数据。它的容量为(n-1)块硬盘总容量,存储性能提升(n-1)倍,硬盘可以允许随机损坏一块。
RAID 6同RAID5一样,数据和校验码都是被分成数据块然后分别存储到磁盘阵列的各个硬盘上。RAID6加入了一个独立的校验磁盘,它把分布在各个磁盘上的校验码都备份在一起,这样RAID6磁盘阵列就答应多个磁盘同时出现故障,它会进行两次奇偶校验,以提供写入保护,因而RAID 6的写入速度小于其它级别的RAID。RAID 6容量为(n-2)块硬盘总容量,存储性能提升(n-2)倍,硬盘可以允许随机损坏2块。但是在4块硬盘的情况下,RAID 6的计算相较于RAID 10而言会更加密集,所以重建速度较慢。
RAID 10其实结构非常简单,首先创建2个独立的RAID 1,然后将这两个独立的RAID 1组成一个RAID 0,RAID 10容量为2块硬盘总容量,存储性能提升2倍,硬盘可以防止两个磁盘同时出现故障,但是这两块硬盘不能是存储同一份数据的硬盘。如果发生意外,RAID 10重建速度较RAID 6更快。
大家对于各种RAID 磁盘阵列的选择,拥有太多种方式,我随意列举几种资深老玩家的方法:
1、一个存储池 :RAID 5+1(一块热备盘)
2、一个存储池 :RAID 10
3、一个存储池 :RAID 6
4、两个存储池:RAID 1,RAID 5
5、独立磁盘,数据按需备份于多块硬盘之上
以上各种方案针对于安全与性能都是兼得,其中最多争议的阵列还是RAID 5,大家不怀疑它的好用,只针对如果单块硬盘损坏,换新盘后是否能够重建成功?
其中URE (Unrecoverable Read Error rate) “不可恢复性读取错误率”。现在有的厂商也叫做Non-recoverable Errors per bits read或者Nonrecoverable Read Error rate。
表格是RAID 5阵列重组成功与否的概率
图片来自知乎木头龙
具体推演过程请看我之前的文章。也有很多人质疑失败率为何如此之高?但是自己并没有碰到?
可能拥有以下几点原因:
1、NAS如果进行定期或者其他方式的错误检查,该方法可以避免重建出现失败。
2、RAID 5阵列是硬件层面,软件层面也有降低失败概率的方法。
3、厂商的预估概率较为保守。
4、RAID系统最重要的特性是Error recovery control,除了HGST全系拥有外(默认关闭),均需要企业级硬盘才配备,若无此技术,在硬盘真正损坏之前就大概率已经被控制器踢下线了。(该说法来自知乎awpak78)
值得一提的是,有很大一部分玩家认为热备盘可以防止RAID 5重建失败的可能性,其实不然,热备盘只是当你的RAID 坏了一块盘之后,这块盘会自动进行去掉那块坏掉的盘进行重组。
RAID 5虽然重组可能会出现失败,但是当一块硬盘损坏时候,存储池的数据并不会丢失,用户可以将存储池重要数据拷贝再进行重建。
最后,关于NAS方面的RAID阵列推荐:
1、如果条件允许可选择组建RAID 6、RAID 1、RAID 10。
2、如果DIY NAS,可使用支持ZFS的操作系统组建RAID Z2。
3、如果还有其他想法,请继续看下去。
2、谈谈快照备份,它是否万无一失?
大家之前应该都玩过单机游戏,大多数单机游戏都有存档功能,你可以任意时候选择存档,如果后面GAME OVER就可以读档接着来。而威联通的快照备份也是针对于NAS的某一个状态进行存档。
你可以主动存档,也可以设置定时自动存档,如每周一次。
威联通快照为数据提供区块级保护。快照可以记录厚卷、精简卷或区块 iSCSI LUN 在特定时间点的状态。意外删除或修改快照中的数据时,可将其迅速恢复至该状态。
那么何为区块级保护?
区块层级Block- based LUN技术
以 iSCSI LUN 分享 NAS 空间的方法,可分为 File-based LUN 与 Block-based LUN 两种。File-based LUN 是在 NAS 的文件系统中建立映像档,再将空间分享给其他装置,但也因其存在于文件系统上,效能发挥有限。而后期所发展的 Block-based LUN,则直接将 LUN 以区块的方式做分配应用,不仅加强效能,更原生支持虚拟化应用技术,如:VAAI 精简分配与空间回收、Microsoft® ODX 等,成为 iSCSI 存储应用的首选。
档案层级File-based LUN技术
因为 Block-based LUN 具备高效及完整的虚拟化支持,能让各式服务器、虚拟机以优化且稳定的方式运用本机外的存储空间,因此受到企业用户所喜好。而 QNAP NAS 的快照功能均以支持 Block-based LUN 为首要目标,Block-Based LUN 搭配 QNAP 快照,将可给企业用户带来比起 File-based LUN 快照更高速的秒速快照撷取与还原,并有效帮助降低灾难发生时的复原时间乃至营业损失。
在此之前,所有NAS的备份都是使用档案层级File-based LUN技术,后来区块层级Block- based LUN技术出来了。与档案层级File-based LUN技术相比,区块层级Block- based LUN技术拥有更快速的快照撷取与还原能力,并有效帮助降低灾难发生时的复原时间乃至营业损失。
一般情况下,NAS最多支持1024个快照,每个卷或LUN的上限是256个快照。NAS 可存储的实际快照数量取决于空闲存储池空间。
威联通的快照功能可以以时间轴的方式呈现,也可以以列表形式呈现。玩家可以对快照进行命名并且添加说明,当误操作或者数据丢失的时候,可以随时在这里进行恢复。这些快照可以选择7天到期,也可以永久保留。
那么快照功能是万无一失的吗?
不是的,快照功能是建立在存储池之上的,它只能保证建立在存储池上的卷数据不被丢失,但是如果存储池崩了,它对于数据的保护也是无能为力。
3、3-2-1备份策略是什么?
人们对于数据的安全性的追求永无止境。高可用是IT世界中的一个重要领域。
在软件系统的高可用性(也称为可靠性,英文描述为HA,High Available)里有个衡量其可用性的标准——X个9,这个X是代表数字3~5。X个9表示在软件系统1年时间的使用过程中,系统可以正常使用时间与总时间(1年)之比,我们通过下面的计算来感受下X个9在不同级别的可靠性差异。
3个9:(1-99.9%)*365*24=8.76小时,表示该软件系统在连续运行1年时间里最多可能的业务中断时间是8.76小时。
4个9:(1-99.99%)*365*24=0.876小时=52.6分钟,表示该软件系统在连续运行1年时间里最多可能的业务中断时间是52.6分钟。
5个9:(1-99.999%)*365*24*60=5.26分钟,表示该软件系统在连续运行1年时间里最多可能的业务中断时间是5.26分钟。
而对于NAS而言,以上高可靠性的内容则是有些遥远,但是它对于数据的安全性也是煞费苦心,一些策略近乎达到了高可靠性的级别。
目前流传最广,也是最可靠的数据安全策略是3-2-1备份策略。
我们需要三份数据副本、为其采取两种不同的格式、并将其中一份副本以异地方式保存。三份副本的存在能够确保拥有冗余记录(因为它们应该以不同格式被保存在不同的位置)。使用不同格式这一原则可以回溯至磁带/磁盘/光盘等多种介质并存时留下的思维方式。
目前,威联通实施这个策略的应用为Hybrid Backup Sync 3。
威联通HBS 3是将数据备份、复原、同步等功能整合到一个应用里面,通过USB单键备份、Time Machine备份、RTRR远程备份(或通过RTRR、Rsync、FTP、CIFS/SMB文件同步等作法)等超强备份功能可以将 QNAP NAS 中的数据备份或同步到另一台 QNAP NAS、远程服务器或云服务中。
目前,HBS 3整合了Google Drive、Microsoft OneDrive 、Dropbox、Box、Yandex Disk、Amazon Cloud Drive、Amazon S3、Amazon Glacier、Azure Storage、Google Cloud Storage,以及与S3、OpenStack Swift、WebDAV兼容等超过 20 种云端存储服务,这让它兼具私有云及公有云优点,提供用户更弹性的混合云存储应用体验,并支持 TCP BBR 壅塞控制算法,翻倍外网传输速度,开创更完备的备份策略。
4、如何使用云端备份?
我们如果使用云端备份的话,使用咱们上面提及的HBS3就可以,但是其上传与下载速度会可能会制约我们,那么还有什么其他的办法可以更快、更简单的进行云端备份呢?
在讲VJBOD Cloud与HybridMount 两个应用之前,再与大家温习一下区块层级Block- based LUN技术与档案层级File-based LUN技术。
简而言之,区块层级比档案层级拥有更好的性能,更快速的快照撷取与还原能力。
VJBOD Cloud与HybridMount 两个应用都是私有云连接上公有云服务,结合NAS的快取功能,它们可让存取云端档案就像在内网内操作般顺畅!
两者不同之处如下:
VJBOD Cloud 内建区块型云网关功能,能让 QNAP NAS 挂载云端对象存储空间 (Cloud Object Storage),并将云端空间模拟为 NAS 上的区块 (Block-level) 装置,建立磁盘区或 LUN,将本地无法容纳的爆量存储或备份工作负载扩展至云端存储。
HybridMount整合 NAS 与主流云端服务,结合本机快取功能让存取云端档案就像在区网内操作般顺畅!QNAP NAS 搭配无限云端空间使用,让存储在云端中的档案也能享受 NAS 提供的应用功能,档案管理、多媒体应用通通搞定。玩家依照需求灵活配置云端容量,可无缝地使用云端空间进行存盘、备份。
VJBOD Cloud的适用情景为文件服务器在线协作、档案层级数据分析;HybridMount的适用情景为企业应用、QTS 应用数据上云、大型数据库分析。
总结
该篇文章大致扫完关于NAS数据安全的一些问题,主要分为四个层面来讲的,希望大家看完有所帮助,如果还有其他想法,也欢迎留言讨论。
今天的分享到此就结束了,感谢您的阅读,如果确实帮到您,您可以动动手指转发给其他人。
上一篇
已是最后文章
下一篇
已是最新文章