Performance

共105篇文章。

改善大量重复内容文件的tarball压缩效率

• Cheatsheets

有时,我们会希望分发包含大量重复文件的tarball。绝大多数情况下,tarball都会进行压缩,进行适当的预处理有助于显著地提高压缩效率。

数据压缩的基本原理是利用数据中的冗余,通过更短的编码或规则表示重复或可预测的内容,从而减少存储或传输所需的空间。简单的例子中,比如连续重复的字符「AAAAAA」可以表达为「6A」,然而,当重复数据分布在较长范围内时,压缩算法很难直接发现和利用这些远距离的关联,因为需要额外记录位置或匹配信息,这种匹配开销很大,做的话会严重影响压缩速度并且可能收益不高。对于文本文件来说,其中的许多内容会高频率地出现,而如果一个tarball中包括数个内容一样的大型二进制文件,压缩算法很难有效地检测并对他们进行正确的处理。

阅读全文…(本文约696字,阅读大致需要2分钟)

FreeBSD上的nginx kTLS支持

• Security

昨天,FreeBSD 13.2正式发布了。kTLS是在FreeBSD 13.0中由Netflix赞助的新功能,过去,TLS/SSL应用程序对于通讯内容的加解密通常是在用户态进行的,这样一来,系统在读取出数据和发出数据之前需要进行额外的上下文切换,并在内核和用户地址空间之间来回复制缓冲区来满足加解密的需要。有了kTLS之后,内核可以在sendfile(2)时直接在内核上下文中完成加密和填充到网络协议栈的操作,从而减少了上下文切换和不必要的复制操作。

阅读全文…(本文约1039字,阅读大致需要3分钟)

记录一下之前对 fsck_msdosfs(8) 的改进

• Development

疫情之前,娃在周末会去某个才艺班,上课的时间我觉得实在是比较无聊,于是就带上笔记本坐在星巴克做一些较小规模的代码清理工作。最终,我利用这些碎块化的时间完成了对FreeBSD的fsck_msdosfs(8)的核心代码的算法进行了改进,使其需要的内存用量变成了原先的 11281 \over 128,这里稍微记一下当时的一些思路。

阅读全文…(本文约3396字,阅读大致需要7分钟)

clang优化器的一个问题

• Development

📜 历史文件已不具备现实意义

今天的一个偶然的发现。FreeBSD clang version 3.6.1 (tags/RELEASE_361/final 237755) 20150525。clang 3.8 2015/07/20的版本同样有此问题。

之前,FreeBSD上strndup(3)的实现是这样的:

而OpenBSD上的实现,则是这样的:

阅读全文…(本文约360字,阅读大致需要1分钟)

OpenZFS Developer Summit

• Kernel

今天去San Francisco的Delphix参加了OpenZFS Developer Summit,今天这会太充实了,先记一笔。

ZFS Channel Program:目前的ZFS应用程序需要以多次系统调用来完成一项功能。为了实现原子性,用户态部分实现起来比较复杂,而且最终内核中的sync task可能会导致长时间的延迟。提出的解决方案是在ZFS内核部分引入一个Lua字节码解释器,用户态一次灌一个脚本进去,通过脚本逻辑实现原子性,从而减少上下文切换开销并极大地简化用户态部分。

阅读全文…(本文约587字,阅读大致需要2分钟)

dd的一种用法

• Cheatsheets

这个方法我最早是在佐藤広生在第13回FreeBSD勉強会上做的《ZFSの活用とチューニング》演示幻灯片上看到的,当时没想太明白,而后来想明白了也没记下来。今天想起来了就先记上一笔,备忘。

一般来说,如果有很多不同的资源,那么尽量让不相关的资源同时去完成不同的任务有助于改善系统的利用率并提高吞吐量。而Unix上的大部分工具在设计时都是设计成阻塞的,或者说它们很大程度上能够高效地利用一种资源,而在完成一系列相互关联的任务时往往就不那么有效了。

阅读全文…(本文约916字,阅读大致需要2分钟)

svn checkout的打包测试

• Development

📜 历史文件已不具备现实意义

FreeBSD已经不再用subversion了。

今天有一位用户发信给Release Engineering Team,要求在发行版中提供源代码的svn checkout工作副本,以便直接使用。我觉得这是个好主意,因为这样可以用更便宜的FTP流量来代替svn流量;不过,由于re@内部有人担心这样会让光盘映像继续膨胀,因此我做了些测试来评估这样做的影响。

总共做了7个试验。

阅读全文…(本文约780字,阅读大致需要2分钟)

启用 SPDY

• Networking

之前Frank同学提到了这个问题,所以今天花了些时间来配置。nginx对SPDY的支持是一项比较新的特性,只有在1.3.x版本以上才支持。FreeBSD的nginx-devel默认并不启用SPDY,需要在make config的阶段启用。

由于之前已经全站基本都已经启用了HTTPS,因此启用SPDY非常简单,只要把listen 443后面增加ssl spdy即可。

参与评论

nginx的HTTPS压缩

• Security

📜 历史文件已不具备现实意义

本文记录于2012年7月。同年9月安全领域公布了针对TLS/SPDY压缩机制的CRIME攻击(CVE-2012-4929),证实TLS层压缩会导致机密凭证泄露。现代HTTPS实践及TLS 1.3规范已彻底禁用并废除TLS压缩。

官方版本的nginx在HTTPS时默认不对流量做压缩处理,具体原因在changeset 4697与changeset 4186中有详细解释:它会为每个连接增加约0.5MB的内存开销。

阅读全文…(本文约548字,阅读大致需要2分钟)

FreeBSD 的 strlen(3)

• Kernel

之前只有一篇关于较早版本的strlen(3) 实现的笔记,这里补上我在2010年做的新增改进。

背景与历史

与Pascal等语言不同,C语言的字符串并不显式保存长度,而是在字符串末尾以NUL字符('\0')标记结束。这个设计决策是上世纪60年代做出的,坊间传闻是为了节省几个字节的存储空间,不过我个人认为也可能是因为早期汇编指令中充满了测试零值的操作。无论缘由如何,这一设计直接导致strlen必须遍历整个字符串,成为一个O(n)O(n)操作。

早期的BSD Unix采用的strlen实现十分简单粗暴,即通过循环逐字节比较是否为NUL。1993年,J.T. Conklin为i386架构撰写了汇编优化版本,其核心利用了rep scasb指令,在算法逻辑上与C版本逐字节扫描并无二致(彼时C编译器尚无法自动生成这类指令)。

为了配合x86_64平台,后来又引入了新的汇编版本。该版本的核心思想升级为按机器字(word)匹配:先以字为单位快速推进,定位到包含NUL字符的字之后,再在该字内部按原始逐字节算法精确定位NUL的位置。

我在2009年根据这个x86_64汇编思路重写了一个纯C语言版本,并在2010年完成了最终调整,形成了当前版本。算法整体流程如下:

  • 首字检测:判断首个机器字中是否存在NUL;若存在,则自起始有效位置扫描查找其中的NUL字符;
  • 按字遍历:按机器字宽度主循环扫描剩余字符串,一旦发现当前字包含NUL,则精确定位并返回总长度。
阅读全文…(本文约1862字,阅读大致需要4分钟)