共 57 篇文章。
昨天是会前的开发人员峰会，参加的人基本都是 src/ committer。我参加的讨论是 安装、虚拟化和存储。关于安装程序，目前基本的共识是 bsdinstall 需要重做（基本上 bsdinstall 是个 drive-by commit，作者现在态度是管杀不管埋，bug很多），而先前 Devin Teske 所做的 bsdconfig （目前未接入 world 联编，试了一下太 XX 复杂和强大了）和 DruidBSD 有很多东西可以添到安装程序中，而一票 committer 也已经为他撑腰，所以应该问题不会太大。
最近我厂对 LSI 6Gb/s SAS HBA 的驱动 (mps(4)) 进行了改进，令其可以在 FreeBSD 环境中进行固件刷写操作。目前最新的固件版本是 14，这个版本修正了目前已知的全部问题。
以前一直没有太注意，这类 HBA 卡上可以用两种固件。一种是 IT (initiator target) 固件，这类固件只提供HBA功能；另一种是 IR (integrated RAID) 固件，这类固件提供集成 RAID 功能。对于我们的应用来说，显然希望用 IT 固件，因为它的代码量要少得多，而由于减少了包含校验的冗余，卡本身的 RAID 功能在 ZFS 环境多数情况下都是有害的。
今天尝试了一下将 zpool 在线转换为 geli 加密卷，失败。这里记一笔。
想法是：将 zpool （RAIDZ）中的一块盘 offline，建立 GELI 卷，然后用新建的 GELI 卷来替换拿下来的盘。
最近在琢磨一个产品里实现全盘加密的问题，简单来说就是加入存储卷的硬盘存储的是完全加密的数据。对于保存机密数据（例如患者数据）的存储设备来说，这一点十分重要，举例来说，如果硬盘出现故障，OP可以直接把硬盘拆下送回厂商，而不是必须做抹除数据的动作。
比较感兴趣的项目是之前了解过但仔细看过的 FlashCache，这是 Facebook 搞的一个 SSD 加速模块，原理不复杂，是在文件系统下面做上一层集关联(set-associative)高速缓存，提供了LRU和FIFO两种淘汰方法。这次 Mohan Srinivasan 讲解的时候提到了以前公开发表的讲稿上没有的一个内容—-按线程id/线程组id去做的黑白名单，并对MySQL进行了修改，令其在扫描表时不做cache。从使用的角度，这个不失为一个不错的折衷方法。
最近做一个存储的项目，顺手在家测试了一下实际数据的dedup。操作系统是 FreeBSD 8.2 配合一组总共大约3MB的patch来跑ZFS v28，硬件是 Atom D510 配合 4G 内存。
操作是否对齐是一个简单而容易忽略的性能（有时是可靠性）问题。对齐主要是指读写操作不产生不必要地跨越存储设备上原生存储单元的访问，这里的存储单元说的是在访问路径上的任何设备，它可以是外存，也可以是内存，甚至是CPU附近或内建的快取缓存，等等。
指望硬盘不挂掉是 很拼人品的事情（附带说一句，从某种意义上说，21世纪的硬盘质量并没有下降，只是单位容量出现故障的概率没有显著提高，而硬盘容量的扩大使得单块硬盘的故障率看起来提高了，但是如果我们从单位容量的故障率来看，坏损率并没有非常显著的增长）。所以想要长久地保存数据，就必须采用各式各样的冗余和备份手段。冗余和备份是不一样的，前者往往会采用同样的访问控制逻辑，提供在线或近线的数据存储，强调的是数据访问的及时性；而后者则强调的是数据的可恢复性。
一般来说，不希望备份与原始数据采取相同的访问控制机制。例如，对网站来说，可以读写数据库的那个 Web 访客的数据库账户，很可能并不能直接读写网站的备份数据。有时，备份甚至是以一种"外科手术"的方式进行的：对文件系统做快照，然后将快照打包发到异地的另一套系统。
今天的话题都是我比较感兴趣的。
开场的Keynote是eBay的Oliver Ratzesberger的 Enterprise Analytics on Demand。eBay每天的数据增量是50TB，而每天的数据处理量是50PB。这个presentation讲了相当多的规划方面的细节。
第一篇 DFS: A File System for Virtualized Flash Storage 介绍的是一个把卷管理（并不完全是：包含了Flash的wear leveling）和文件系统集成在一起的设计。FusionIO公司提供了一种直接在PCIe接口上插的存储设备。类似这样的设计，感觉是未来Flash文件系统必须要走的一条路。
第二篇 Extending SSD Lifetimes with Disk-Based Write Caches 是一个很有意思的设计：现时磁盘的反复擦写寿命要远好于Flash，因此，在磁盘上做一个顺序写入的日志，然后再择机将数据擦写回Flash。不过这篇论文讨论的具体方案还有一定的改进余地。
第三篇 Write Endurance in Flash Drives: Measurements and Analysis 是关于 Flash 寿命的衡量方法。
今天去参加了在San Jose举行的 FAST ‘10 第一天的 Tech Session，FAST是 USENIX 主办的关于文件和存储技术的学术会议。记上几笔。
开场的Keynote其实讲的还算精彩，不过感觉跟会议本身关系不大（讲的主要是发展中国家的手机等设备的发展），就不介绍了。
Build a Better File System and the World Will Beat a Path to Your Door部分。第一个是本次的获奖论文 quFiles: The Right File at the Right Time，具体来说是实现了同一份data（文件）的不同view（例如，将其表现成不同分辨率、码流等）的一种通用的存取方法。个人对Semantic File System持保留态度，不过这个talk还是可以帮助拓宽一下思路。
第二篇是介绍在 WAFL 类型的文件系统（具体举例是 btrfs） 中实现倒排索引的 Tracking Back References in a Write-Anywhere File System。具体来说，是在 inode -> 块这样的单向关系基础上，增加了块->inode（包括inode版本、回收时间等）的倒排索引。paper值得看但是性能比较做的稍微有些瑕疵（用做B-Tree的时间去比较在FS中查询的时间，而没有比较建立倒排索引之后更新与在block中插入信息所引起的开销，以及两者对应的查询时间）。
第三篇指出了内存故障可能导致的问题，指出 ZFS 的 end-to-end 检查只能检测出磁盘介质或控制器偶然故障引起的问题，而系统主存中存在的问题则无法发现并可能导致数据损坏甚至系统崩溃，并提出了在 ext2 FS 中增加运行时checksum检查的方案。这篇的试验方法和结论受到了很多人的质疑。
午饭时间。