WebKit处处是惊吓#2:同化
前言
如果你在上一个十年注册游戏名的时候,曾经好奇地瞟过一眼限长计数器,你可能有注意到,汉字通常是比拉丁字母和数字“金贵”很多的:“Sylphy Horn”的十一个字符会让配额变成“11/16”,但“风灵的角笛”仅用五个字符就足以让配额来到“10/16”了。这是因为汉字字符的数量之多,远超一个字节(配额)所能表达的256种可能性,也就注定了要用至少两个字节来表示一个汉字;而GBK等在当时占主导地位的编码选择了固定用两个字节表达一个汉字,不多也不少,并出于节俭还是把拉丁字母、数字等全塞进一个字节里,也就是前述现象的来历。当然,在今天,维持这种做法多半便不是出于技术原因,而是为了平衡半角字符与全角字符的宽度,或者每个拉丁字母与中日韩文字承载的信息量了。
不过,如果有一款更“奢侈”的编码,会让“沉静的Selene”这九个字符就把配额直接撑到“18/16”呢?
失败的迁移
最近我在试图重构BewlyBewly! AveMujica的存储层,其中一项工作是把用户上传的壁纸数据从设置的键挪到专门的存储键里,只留引用,从而避免每次修改设置都可能带来MiB级别的读写。迁移代码在Chrome和Firefox里都顺利跑通了,但Safari里却一直报错:
Invalid call to browser.storage.local.set(). Exceeded storage quota.
一般情况下浏览器扩展确实会有10MiB的存储空间配额,但我设定的壁纸的尺寸还远远不会碰到,迁移时的写入也只是把三百四十万字符原地换成不会更多的字符,哪怕按先增后删而不是原地替换算双倍量,也不应该超出一千万多的配额才对。
偷偷奢侈的引擎
Safari的扩展存储在WebKit里是一张SQLite表。每次用set()更新之前,WebKit会先估算写完之后总共多大,确保不会写到超出配额。估算的公式本身十分简单(出自getStorageSizeForAllKeys):
估算的新总量 = 现有总量 − 被替换的旧值的量 + 将写入的新值的量
然而,这几项却并不共用一把尺子:
| 项 | 怎么量 | 单位 |
|---|---|---|
| 现有总量 | SQL:SUM(LENGTH(key) + LENGTH(value)) | 字符 |
| 旧值、新值 | String::sizeInBytes() | 字符串在内存里占的字节 |
| 算出来的结果 | 作为size_t看待 | 非负整数 |
LENGTH()对文本列数的是字符,一个汉字算1。sizeInBytes()看的是WebKit字符串的内部表示:全是Latin-1(U+00FF以内)的字符串,每个字符占1字节;只要混进一个范围之外的字符,整个字符串就改用UTF-16,每个字符占2字节。
因此,可以有如下复现:
假设现有键k,存储的值是JSON文本,"文文文文文文文文文文",含引号共12个字符。此时,试将其值更新为"文",含引号共3个字符。
现有总量以字符计,是1 + 12 = 13;旧值的量以实占字节数计,键名k的量仍为1,但含汉字的内容的量变成了2 × 12 = 24,总和即为25;新值的量可以相似地得到为7。
计算后,出现了奇异的结果:估算的新总量13 − 25 + 7 = −5竟然是一个负数。(所以,我不仅没找浏览器要配额,还反过头来送了浏览器一些配额吗?)与此同时,非负整数的size_t装不下负数,如果硬塞−5进去就会变成非常巨大的18,446,744,073,709,551,611,远超规定的10,485,760,于是超出配额。
在存储里只有这一个键时,条件可以进一步化简成:旧值的长度 > 键的长度 + 新值长度的两倍;有别的数据时,别的数据会把总和往正数那边垫一垫,要旧值占掉存储的大半才会触发。
而我的含有汉字文件名的设置键几乎就是前者的形状:一份三百多万字符的设置是存储开销的绝对多数,当它被更新成缩短的形式时,现有总量的约三百万,减去旧值被算出的约六百万,再加回新值被算出的约几千,结果的约负三百万便显而易见仍是会触发问题的负数;更巧合的是,尽管同步写入的还有壁纸本身,它也没能把结果垫回正数,因为旧设置里同一张图其实存了两份,各约一百七十万字符;迁移时按内容去重,只写回一份,而且它是纯ASCII,按单倍计。于是算式变成:现有的两份,减去被双倍算出的四份,加回一份,结果是负的一份,约负一百七十万。假如旧设置里只有一份图,这三项会正好抵消,写入反而能通过。
好奢侈呀,WebKit,因为十几个汉字的文件名夹在里面,就害我三百多万字符的内容被翻了倍,按六百多万字符来评估呢。
不稳定的计数
getBytesInUse()对同一份数据给出两个数。存着{ k: "文".repeat(10) }的时候,getBytesInUse()是13,而getBytesInUse("k")是25:不带参数走SQL,带键名走sizeInBytes()。因此,便出现了部分还比整体大的奇观。相比之下,Chrome里两个都是33,是UTF-8的字节数。
错位已久
这段代码在2025年1月从Objective-C移植到了C++。移植之前,旧值和新值量的是UTF-8字节数,是我心目中正确的做法,但现有总量的测量则同样是靠LENGTH()算字符数。减号两边从一开始就不是同一个单位,移植只是把“每个汉字3字节”换成了“整个值每字符2字节”——也就是说,“有些消瘦”的现有总量,所要面对的预计变化量从“体格普通”变成了“严重虚胖”。
仓库里其实还有一把对的尺子:Web进程那一侧的storageSizeOf仍然按UTF-8字节算,用来检查单次调用的上限和sync的单项配额。
绕行
一些小技巧,在WebKit修好之前,作为扩展开发者可以做的:
- 同一次
set()里带一个填充键。值是纯ASCII,长度不小于被替换的旧值,总和就不会是负数;成功之后再把它删掉。只在报超出配额后才这样重试,因为在Chrome里填充是实打实占空间的。 - 先
remove()再set()。最简单,但成了两次写入,中间出错会丢数据,onChanged也会触发两次。 - 存之前把非ASCII字符转义成
\uXXXX。值永远是纯ASCII,三把尺子读数一致,配额减半的问题也一并没了。代价是每个汉字占6个字符,读写都要多过一道手。
报告
低人一等
现在做Web开发的时候,我都是让Claude(或者别的智能体)接入各个浏览器的MCP进行自动化测试的,之后我再手动体验、抓一些可能的corner case是否有问题。
最开始想正经用自动化测试、搜索发现Safari“竟然也有”MCP(包装的WebDriver)了的时候,我还很感动于Apple难得很开发者友好、不落后于时代了一回……可惜,今天整段垮掉。因为在排查前述问题的时候,Claude一度在自动化窗口里测出“每次写操作调用有最多1MiB的限制”,差点多绕了一大圈,直到我反应过来自己日用时设的壁纸也不止1MiB,所以写入在通常时绝对没有这么严苛的限制。后来分析了源码发现,有一段webExtensionStorageAreaMaximumBytesPerCallForTesting = 1024 * 1024,也就是说一般的会话(窗口)里上限是995MiB,而1MiB是以自动化测试模式开启时的特殊限制。
唉,不要这样吧,怎么真的搞低“人”一等啊。
尾巴
自从参与BewlyBewly! AveMujica以来,我经历的代码阅读、架构考量、测试调试以及增删查改之多,恐怕已经超越了人生中此前的总和(当然多亏大语言模型们帮我打破了难以动笔写代码的优柔寡断和完美主义),也让Web从对我而言与数据库并列的最薄弱的领域,一跃而起到了差强人意的水平。在此之前,我甚至不敢想象一位能够提出有效的WebKit问题报告的人得多么神仙,而如今我也在这个领域开始接二连三了。不过当然,我对自己的水平有自知之明,终归还是需要AI帮我省下无数对苦功和见识的需求……但至少,能为我和我的亲朋好友们都会日用的项目做出贡献、改善体验,我真的很开心。
环境:Safari 27.3、Safari Technology Preview(Version/27.0)、Chrome 159;源码:2026年11月12日的main。