Storage

共58篇文章。

Seagate Barracuda LP固件升级笔记

• Hardware

其实FreeBSD本身的camcontrol(8)内建了用来刷硬盘/SSD固件的fwdownload功能,不过因为正好也要稍微调整一下网络的配置,考虑了一下还是去机房本地做好了。

之前Doug的观点是刷固件有风险,所以没问题尽量别刷。不过,新版smartmontools没事就nag一下这事实在是很烦,加上网上找到的说明相当吓人:

The drives are clicking because they are recalibrating due to vibration, the reason they are only exhibiting this issue during idle is because the drive will only recalibrate when idle.

Doing a firmware update to CC35 should resolve this issue.

If it does not you should attempt to mount the drives in a different configuration, we have see using rubber washers can magnify the vibration.

所以还是升级一下好了。CC35版本固件可以从这里下载。

阅读全文…(本文约668字,阅读大致需要2分钟)

MeetBSD CA 2012流水账

• Development

昨天是会前的开发人员峰会,参加的人基本都是src/ committer。我参加的讨论是安装、虚拟化和存储。关于安装程序,目前基本的共识是bsdinstall需要重做(基本上bsdinstall是个drive-by commit,作者现在态度是管杀不管埋,bug很多),而先前Devin Teske所做的bsdconfig(目前未接入world联编,试了一下太XX复杂和强大了)和DruidBSD有很多东西可以添到安装程序中,而一票committer也已经为他撑腰,所以应该问题不会太大。

阅读全文…(本文约1306字,阅读大致需要3分钟)

LSI SAS HBA固件

• Hardware

最近我厂对LSI 6Gb/s SAS HBA的驱动(mps(4))进行了改进,令其可以在FreeBSD环境中进行固件刷写操作。目前最新的固件版本是14,这个版本修正了目前已知的全部问题。

阅读全文…(本文约461字,阅读大致需要1分钟)

全盘加密

• Security

最近在琢磨一个产品里实现全盘加密的问题,简单来说就是加入存储卷的硬盘存储的是完全加密的数据。对于保存机密数据(例如患者数据)的存储设备来说,这一点十分重要。举例来说,如果硬盘出现故障,运维可以直接把硬盘拆下送回厂商,而不是必须做抹除数据的动作。

阅读全文…(本文约372字,阅读大致需要1分钟)

#lspe之Disks

• Hardware

今天去Y!参加了#lspe的一个交流会。

比较感兴趣的项目是之前了解过但仔细看过的FlashCache,这是Facebook搞的一个SSD加速模块,原理不复杂,是在文件系统下面做上一层集关联(set-associative)高速缓存,提供了LRU和FIFO两种淘汰方法。这次Mohan Srinivasan讲解的时候提到了以前公开发表的讲稿上没有的一个内容——按线程id/线程组id去做的黑白名单,并对MySQL进行了修改,令其在扫描表时不做cache。从使用的角度,这个不失为一个不错的折衷方法。

阅读全文…(本文约690字,阅读大致需要2分钟)

ZFS dedup初步测试

• Kernel

最近做一个存储的项目,顺手在家测试了一下实际数据的dedup。操作系统是FreeBSD 8.2配合一组总共大约3MB的patch来跑ZFS v28,硬件是Atom D510配合4G内存。

阅读全文…(本文约678字,阅读大致需要2分钟)

对齐操作和非对齐操作

• Kernel

操作是否对齐是一个简单而容易忽略的性能(有时是可靠性)问题。对齐主要是指读写操作不产生不必要地跨越存储设备上原生存储单元的访问,这里的存储单元说的是在访问路径上的任何设备,它可以是外存,也可以是内存,甚至是CPU附近或内建的快取缓存,等等。

阅读全文…(本文约1184字,阅读大致需要3分钟)

关于备份

• Security

指望硬盘不挂掉是很拼人品的事情(附带说一句,从某种意义上说,21世纪的硬盘质量并没有下降,只是单位容量出现故障的概率没有显著提高,而硬盘容量的扩大使得单块硬盘的故障率看起来提高了,但是如果我们从单位容量的故障率来看,坏损率并没有非常显著的增长)。所以想要长久地保存数据,就必须采用各式各样的冗余和备份手段。冗余和备份是不一样的,前者往往会采用同样的访问控制逻辑,提供在线或近线的数据存储,强调的是数据访问的及时性;而后者则强调的是数据的可恢复性。

阅读全文…(本文约1147字,阅读大致需要3分钟)

FAST 2010第二天

• Development

今天的话题都是我比较感兴趣的。

开场的Keynote是eBay的Oliver Ratzesberger的Enterprise Analytics on Demand。eBay每天的数据增量是50TB,而每天的数据处理量是50PB。这个presentation讲了相当多的规划方面的细节。

第一篇DFS: A File System for Virtualized Flash Storage介绍的是一个把卷管理(并不完全是:包含了Flash的wear leveling)和文件系统集成在一起的设计。FusionIO公司提供了一种直接在PCIe接口上插的存储设备。类似这样的设计,感觉是未来Flash文件系统必须要走的一条路。

第二篇Extending SSD Lifetimes with Disk-Based Write Caches是一个很有意思的设计:现时磁盘的反复擦写寿命要远好于Flash,因此,在磁盘上做一个顺序写入的日志,然后再择机将数据擦写回Flash。不过这篇论文讨论的具体方案还有一定的改进余地。

第三篇Write Endurance in Flash Drives: Measurements and Analysis是关于Flash寿命的衡量方法。

阅读全文…(本文约632字,阅读大致需要2分钟)