ZFS文件系统很适合挂PT

什么是ZFS文件系统

ZFS文件系统的英文名称为Zettabyte File System,也叫动态文件系统(Dynamic File System),是第一个128位文件系统。最初是由Sun公司为Solaris 10操作系统开发的文件系统。作为OpenSolaris开源计划的一部分,ZFS于2005年11月发布,被Sun称为是终极文件系统,经历了 10 年的活跃开发。而最新的开发将全面开放,并重新命名为 OpenZFS


ZFS文件系统特点

强大的实时数据缩减技术

在线实时处理的区块层级 (Block-based) 数据重复删除机制 (Inline Data Deduplication),让数据在写入磁盘前就已经过删减演算,大幅节省存储空间占用;加上让大档变小档的数据压缩 (Inline Compression),以及先进的实时数据压实 (Inline Compaction) 技术,对于存储空间的节省程度带来重大的突破。在数据重复性质高或大量小型数据存取的情境下,提升 SSD 空间使用率的效益尤其明显,不仅显著提升全快闪配置的写入效能,对 SSD 的耐用性与使用寿命也有帮助,让全快闪存储架构成本效益更高。

突破想象的 PB 级巨量存储

128 位的 ZFS 文件系统拥有巨大的存储潜力,且 ZFS 原生就有强大的 RAID 逻辑磁盘管理功能。基于 ZFS 文件系统的存储方案,单一共享文件夹空间高达 1 PB 容量,更能协助企业克服当前大数据分析、边缘预算、AI 应用等巨量数据存储的挑战。面对 PB 等级的存储容量配置时,RAID Z 磁盘阵列架构亦也有传统磁盘阵列所无法实现的高速建置效率,提供弹性更大、存取效率更高的磁盘空间运用。

零秒瞬间,实时的 SnapSync 快照同步

ZFS 支持 iSCSI LUN 与共享文件夹的快照,快照数量高达 65,535 份 (假设每小时拍 1 张快照,1 天 24 张,可维持 7 年不用删除!),实现缜密的多版本快照保护。运用 Copy-on-Write 技术,拍摄快照近乎实时,且不影响当下的系统运作性能。利用快照文件还原数据也无需中断系统正在进行的服务,短时间内即刻启动灾难复原计划。更进阶的区块层级 Real-time SnapSync 实时快照同步功能,让本地 NAS 与备份 NAS 随时随地保持数据同步,关键数据得以获得更新、更完整而实时的备份。

至今最快的 LZ4 数据压缩算法

LZ4 是一种无损数据压缩算法,可提供极快的压缩和解压缩速度,是商用领域中所需 100 MB/s 以上的高速传输存储里,能够提供低延迟、高 IO 量的压缩选择。数据存储进采用 ZFS 文件系统的都会经过在线压缩处理 (Inline Compression),对于需要频繁压缩、时时快速解压的大量数据处理 (例如:虚拟机) 更具存储效率的优势。尤其再搭配数据重复删除机制,数据减量的效果更为显著。


为什么适合挂PT

什么是PT

PT全名是Private Tracker。很简单的说,就是基于Bittorrent协议的“点”对“点”的文件传输服务。由于是基于Bittorrent协议,在传输过程中要不断与其他节点交流,彼此分享对方所需要的文件块。因此,会对磁盘进行频繁的读写操作;尤其是在早期出种的时候,更为明显。

ZFS文件系统的缓存机制ARC

ZFS的可调缓存机制ARC是一种同时缓存数据块请求以及频繁的数据块请求的缓存机制。这是IBM专利自适应替换缓存的基础上的一些修改和扩展。它依赖内存作为高频的Cache缓存;所以,内存稳定对于ZFS文件系统至关重要。

由于ARC缓存机制的存在可以大大降低硬盘的读写;提高机械硬盘的使用寿命与读写速度。

一个月长时间测试

系统:Gentoo
硬件:HP Gen8 (G2020T 低配版本)
内存:8G(ECC)
硬盘:1T(机械硬盘)

ZFS文件系统配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
NAME   PROPERTY              VALUE                  SOURCE
data1 type filesystem -
data1 creation Sat 01 Apr 8:35 2021 -
data1 used 614G -
data1 available 285G -
data1 referenced 614G -
data1 compressratio 1.00x -
data1 mounted yes -
data1 quota none default
data1 reservation none default
data1 recordsize 128K default
data1 mountpoint /media/data1 local
data1 sharenfs off default
data1 checksum on default
data1 compression off default
data1 atime off local
data1 devices on default
data1 exec on default
data1 setuid on default
data1 readonly off default
data1 zoned off default
data1 snapdir hidden default
data1 aclmode discard default
data1 aclinherit restricted default
data1 createtxg 1 -
data1 canmount on default
data1 xattr on default
data1 copies 1 default
data1 version 5 -
data1 utf8only off -
data1 normalization none -
data1 casesensitivity sensitive -
data1 vscan off default
data1 nbmand off default
data1 sharesmb off default
data1 refquota none default
data1 refreservation none default
data1 guid 6389372042506996733 -
data1 primarycache all default
data1 secondarycache all default
data1 usedbysnapshots 0B -
data1 usedbydataset 614G -
data1 usedbychildren 55.8M -
data1 usedbyrefreservation 0B -
data1 logbias latency default
data1 objsetid 54 -
data1 dedup off default
data1 mlslabel none default
data1 sync standard default
data1 dnodesize legacy default
data1 refcompressratio 1.00x -
data1 written 614G -
data1 logicalused 614G -
data1 logicalreferenced 614G -
data1 volmode default default
data1 filesystem_limit none default
data1 snapshot_limit none default
data1 filesystem_count none default
data1 snapshot_count none default
data1 snapdev hidden default
data1 acltype off default
data1 context none default
data1 fscontext none default
data1 defcontext none default
data1 rootcontext none default
data1 relatime off default
data1 redundant_metadata all default
data1 overlay on default
data1 encryption off default
data1 keylocation none default
data1 keyformat none default
data1 pbkdf2iters 0 default
data1 special_small_blocks 0 default

测试结果

使用的是transmission作为PT客户
port2iz.1month.png

下图显示的是内存中块的命中情况

zfs2z.1month.png
本月实际上传量: 1.633 TB
本月实际下载量: 639.5 GB