共 45 篇文章。
有时，我们会希望分发包含大量重复文件的 tarball。绝大多数情况下，tarball 都会进行压缩，进行适当的预处理有助于显著地提高压缩效率。
数据压缩的基本原理是利用数据中的冗余，通过更短的编码或规则表示重复或可预测的内容，从而减少存储或传输所需的空间。简单的例子中，比如连续重复的字符「AAAAAA」可以表达为「6A」，然而，当重复数据分布在较长范围内时，压缩算法很难直接发现和利用这些远距离的关联，因为需要额外记录位置或匹配信息，这种匹配开销很大，做的话会严重影响压缩速度并且可能收益不高。对于文本文件来说，其中的许多内容会高频率地出现，而如果一个 tarball中包括数个内容一样的大型二进制文件，压缩算法很难有效地检测并对他们进行正确的处理。
12月1日，FreeBSD 发布了 FreeBSD-EN-23:16.openzfs，用于修正近期发现的 ZFS 数据损坏问题。这个问题是由 Rob Norris 最终修正的，这里记一笔。
疫情之前，娃在周末会去某个才艺班，上课的时间我觉得实在是比较无聊，于是就带上笔记本坐在星巴克做一些较小规模的代码清理工作。最终，我利用这些碎块化的时间完成了对 FreeBSD 的 fsck_msdosfs(8) 的核心代码的算法进行了改进，使其需要的内存用量变成了原先的 ，这里稍微记一下当时的一些思路。
今天的话题都是我比较感兴趣的。
开场的Keynote是eBay的Oliver Ratzesberger的 Enterprise Analytics on Demand。eBay每天的数据增量是50TB，而每天的数据处理量是50PB。这个presentation讲了相当多的规划方面的细节。
第一篇 DFS: A File System for Virtualized Flash Storage 介绍的是一个把卷管理（并不完全是：包含了Flash的wear leveling）和文件系统集成在一起的设计。FusionIO公司提供了一种直接在PCIe接口上插的存储设备。类似这样的设计，感觉是未来Flash文件系统必须要走的一条路。
第二篇 Extending SSD Lifetimes with Disk-Based Write Caches 是一个很有意思的设计：现时磁盘的反复擦写寿命要远好于Flash，因此，在磁盘上做一个顺序写入的日志，然后再择机将数据擦写回Flash。不过这篇论文讨论的具体方案还有一定的改进余地。
第三篇 Write Endurance in Flash Drives: Measurements and Analysis 是关于 Flash 寿命的衡量方法。
今天去参加了在San Jose举行的 FAST ‘10 第一天的 Tech Session，FAST是 USENIX 主办的关于文件和存储技术的学术会议。记上几笔。
开场的Keynote其实讲的还算精彩，不过感觉跟会议本身关系不大（讲的主要是发展中国家的手机等设备的发展），就不介绍了。
Build a Better File System and the World Will Beat a Path to Your Door部分。第一个是本次的获奖论文 quFiles: The Right File at the Right Time，具体来说是实现了同一份data（文件）的不同view（例如，将其表现成不同分辨率、码流等）的一种通用的存取方法。个人对Semantic File System持保留态度，不过这个talk还是可以帮助拓宽一下思路。
第二篇是介绍在 WAFL 类型的文件系统（具体举例是 btrfs） 中实现倒排索引的 Tracking Back References in a Write-Anywhere File System。具体来说，是在 inode -> 块这样的单向关系基础上，增加了块->inode（包括inode版本、回收时间等）的倒排索引。paper值得看但是性能比较做的稍微有些瑕疵（用做B-Tree的时间去比较在FS中查询的时间，而没有比较建立倒排索引之后更新与在block中插入信息所引起的开销，以及两者对应的查询时间）。
第三篇指出了内存故障可能导致的问题，指出 ZFS 的 end-to-end 检查只能检测出磁盘介质或控制器偶然故障引起的问题，而系统主存中存在的问题则无法发现并可能导致数据损坏甚至系统崩溃，并提出了在 ext2 FS 中增加运行时checksum检查的方案。这篇的试验方法和结论受到了很多人的质疑。
午饭时间。
大扇区（超过旧式标准的512字节扇区）是改善硬件工艺或访问方式以后的一种直接提高存储密度的方法。对于磁介质来说，其盘片被分成若干的磁道（通常是同心圆）、每个磁道分成若干的扇区或称扇段，扇区是磁盘读写时的最小操作单元。对于基于闪存的存储设备而言，扇区则是一种模拟传统磁盘的概念。
Jeff Roberson 下周左右将会正式发表对于 UFS 的一项改进，为 Soft Updates 加入 Journal-ling，从而简化其恢复逻辑，并消除对 fsck 的依赖。
目前常见的保持元数据一致性的方法有四种：最原始的、将元数据以同步方式写盘的方法，性能非常差；常见的文件系统中使用的元数据回写日志（如ext3），缺点是无法检验日志本身的正确性，而且元数据需要写入两次因此对性能有潜在影响；Soft Updates，缺点是需要运行fsck来释放资源泄漏，而这个操作很耗时，且实现本身比较复杂；Copy-on-Write，在WAFL和ZFS中采用的技术，随着硬盘的淘汰随机存取时间不再是性能瓶颈，应该是未来的发展趋势，目前的缺点是会导致产生较多碎片。SU+J结合了Soft Updates和Journalling的优点，即，使用Soft Updates来确保写到磁盘上的数据的一致性，而使用Journalling来确保资源泄漏能够迅速回收，从而消除了fsck的必要性。
最近几天测试了一下盘很多（具体说是24块盘，其中2块热备的JBOD）的时候ZFS的性能特点。一些结论
a) ZFS的随机读性能比较差（相对于顺序读写）。这一点除了改为用mirror而不是raidz1/z2之外似乎没什么太好的办法。同样多的硬盘做成两组raidz1（11＋11＋2），与做成两块盘一组的11组mirror的pool相比，针对同样的数据集的随机读性能相差可达10倍多，当然，mirror的结果是顺序写性能会差一些。作为副作用，mirror时的读性能可提高大约4倍左右。
今天又帮人做了一次恢复，上次干这个事是十几年前的事情了。数据恢复是个手艺活，恢复个60%-70%基本上靠工具，剩下的就靠运气和经验了。
想起很久以前做的一个小工具。简单地说是先把磁盘复制一份出来，然后在数据文件上去操作，把已知的链接上，然后把未知的文件的首簇、长度算出来，在空闲区里面找（很明显，大文件恢复的成功与否很大程度上取决于你多久整理一次磁盘以及是否经常删除文件）然后接个链出来。我当时很感激某文本编辑软件每次都会把之前的文件改名做BAK然后把文件整个重新写一遍。
注意：如果您熟悉RAID请不必浪费时间阅读这篇文章。
为什么用RAID-Z/RAID-Z2而不是RAID-5呢？
答案是：RAID-5有一个不可避免的问题，即它必须使用后备电源才能保证写入的正确性。这也是为什么我一直极力反对使用低档RAID卡和软件实现的RAID-5的原因。