Storage

购买二手硬件的一些人生经验

以往我是不直接在 eBay 上购买二手硬件（这不包括美国比较常见的「翻新refurbished」硬件， 这类卖家往往是比较专业的回收处理机构）的，原因是购买此类硬件多少有点像拆盲盒： 二手硬件的质量往往缺乏统一且一致的标准，并且通常只提供较短的退货窗口。

不过 上回书 说到我收了一台二手的 Dell R740 服务器，既然选择了消费降级索性一降到底试试看买二手内存和存储。

如何：重建根 zpool

这篇和较早的 线上重做 FreeBSD GPT 引导分区 情况有些类似，但略有不同。

前段时间 Andriy Gapon 为 Samsung 860 / 870 SSD 增加了一个 quirk。 Samsung 的 SSD 内部使用的是 8K 或 16K 的存储页，但为了和业界标准兼容， 它的控制器为 4K 扇区做了优化。

MeetBSD CA 2012流水账

昨天是会前的开发人员峰会，参加的人基本都是 src/ committer。我参加的讨论是 安装、虚拟化和存储。关于安装程序，目前基本的共识是 bsdinstall 需要重做（基本上 bsdinstall 是个 drive-by commit，作者现在态度是管杀不管埋，bug很多），而先前 Devin Teske 所做的 bsdconfig （目前未接入 world 联编，试了一下太 XX 复杂和强大了）和 DruidBSD 有很多东西可以添到安装程序中，而一票 committer 也已经为他撑腰，所以应该问题不会太大。

在线将 zpool 转换为 GELI 加密卷的尝试

今天尝试了一下将 zpool 在线转换为 geli 加密卷，失败。这里记一笔。

想法是：将 zpool （RAIDZ）中的一块盘 offline，建立 GELI 卷，然后用新建的 GELI 卷来替换拿下来的盘。

#lspe之Disks

今天去 Y! 参加了 #lspe 的一个交流会。

比较感兴趣的项目是之前了解过但仔细看过的 FlashCache，这是 Facebook 搞的一个 SSD 加速模块，原理不复杂，是在文件系统下面做上一层集关联(set-associative)高速缓存，提供了LRU和FIFO两种淘汰方法。这次 Mohan Srinivasan 讲解的时候提到了以前公开发表的讲稿上没有的一个内容—-按线程id/线程组id去做的黑白名单，并对MySQL进行了修改，令其在扫描表时不做cache。从使用的角度，这个不失为一个不错的折衷方法。

ZFS dedup初步测试

最近做一个存储的项目，顺手在家测试了一下实际数据的dedup。操作系统是 FreeBSD 8.2 配合一组总共大约3MB的patch来跑ZFS v28，硬件是 Atom D510 配合 4G 内存。

对齐操作和非对齐操作

操作是否对齐是一个简单而容易忽略的性能（有时是可靠性）问题。对齐主要是指读写操作不产生不必要地跨越存储设备上原生存储单元的访问，这里的存储单元说的是在访问路径上的任何设备，它可以是外存，也可以是内存，甚至是CPU附近或内建的快取缓存，等等。

FAST 2010第一天

今天去参加了在San Jose举行的 FAST ‘10 第一天的 Tech Session，FAST是 USENIX 主办的关于文件和存储技术的学术会议。记上几笔。

开场的Keynote其实讲的还算精彩，不过感觉跟会议本身关系不大（讲的主要是发展中国家的手机等设备的发展），就不介绍了。

Build a Better File System and the World Will Beat a Path to Your Door部分。第一个是本次的获奖论文 quFiles: The Right File at the Right Time，具体来说是实现了同一份data（文件）的不同view（例如，将其表现成不同分辨率、码流等）的一种通用的存取方法。个人对Semantic File System持保留态度，不过这个talk还是可以帮助拓宽一下思路。

第二篇是介绍在 WAFL 类型的文件系统（具体举例是 btrfs） 中实现倒排索引的 Tracking Back References in a Write-Anywhere File System。具体来说，是在 inode -> 块这样的单向关系基础上，增加了块->inode（包括inode版本、回收时间等）的倒排索引。paper值得看但是性能比较做的稍微有些瑕疵（用做B-Tree的时间去比较在FS中查询的时间，而没有比较建立倒排索引之后更新与在block中插入信息所引起的开销，以及两者对应的查询时间）。

第三篇指出了内存故障可能导致的问题，指出 ZFS 的 end-to-end 检查只能检测出磁盘介质或控制器偶然故障引起的问题，而系统主存中存在的问题则无法发现并可能导致数据损坏甚至系统崩溃，并提出了在 ext2 FS 中增加运行时checksum检查的方案。这篇的试验方法和结论受到了很多人的质疑。

午饭时间。

文件系统与大扇区

大扇区（超过旧式标准的512字节扇区）是改善硬件工艺或访问方式以后的一种直接提高存储密度的方法。对于磁介质来说，其盘片被分成若干的磁道（通常是同心圆）、每个磁道分成若干的扇区或称扇段，扇区是磁盘读写时的最小操作单元。对于基于闪存的存储设备而言，扇区则是一种模拟传统磁盘的概念。