四区产品同时出现乱码时,先确认是不是同一套字符集在作怪
把四个区的编码声明、落库字符集、前端响应头三者拉成一张表,先排除「声明与字节不一致」这一类,再去看字体与截断。
分区产品 · 乱码记录 · 词条年鉴
这里收的是 1 区到 4 区产品在不同版本里出现的乱码现象记录:字符集、字体回退、导入导出、日志截断,以及「木鱼天」这个在检索里反复出现的词条线索。按年份拉开抽屉,一年若干条题名与提要,点到哪条就在本页展开全文。
本年度主条目
1 区到 4 区在发布节奏、部署环境和历史版本上并不同步,所以同一段产品文案在四个区里可能呈现四种乱码形态:问号、方块、半截字、以及看似正常却搜索不到的「隐形乱码」。本条把四个区常见的字符集组合列成一张对照表,并给出从浏览器端到落库端的排查顺序。
文中重点区分两类情况:一类是编码声明与字节流真的不一致,另一类是编码正确但字体链在某个区缺失,导致显示为方块。两者的处理路径完全不同,混为一谈是排查里最常见的弯路。
适合正在做跨区版本核对的产品与测试读者,条目内含逐步核对清单。
把四个区的编码声明、落库字符集、前端响应头三者拉成一张表,先排除「声明与字节不一致」这一类,再去看字体与截断。
乱码的成因大致分三层:字节层(存进去的字节和读出来的字节不一致)、声明层(页面或接口声明的字符集与实际不符)、呈现层(编码正确但没有字体能画出这个字)。三层里只有前两层会让同一份数据在 1 区和 4 区读出不同结果,所以核查顺序一般是:先取同一段文本,在四个区分别抓原始字节,比对是否一致;一致再去看声明,不一致就直接定位到写入或传输环节。
清单里最容易漏的是第三步。声明不一致时,浏览器通常会按自己的一套规则猜测,猜对了看起来一切正常,猜错了才显示乱码,于是同一版本在不同终端上表现不同,排查起来像随机现象。
导出时是带字节序标记的文本,导入时按本地默认编码读取,一问号就是这么来的。
问号是最典型的「不可逆」乱码:字节在某一跳被替换成了问号,之后再怎么转码也回不来。常见路径是导出端写入带字节序标记的文本,而导入端按本地默认编码逐行读取,遇到多字节字符就替换。判断方法很简单:看问号是不是成片出现,且原本的字数明显变少。
处理办法是让导入端显式指定编码,并在导入前做一次探测,把探测结果写进日志。这样下次再出现同样问题时,日志里能直接看到当时用的是哪种编码,不用再靠猜。
按字节截断会切在多字节字符中间,剩下的半个字节序列就变成替换符。
日志系统为了控制单行长度,常按固定字节数截断。多字节字符恰好跨越截断点时,后半段字节被丢弃,读出来就是一个替换符或一个孤立的半个字。2 区把单行上限设得比其它区小,所以这个问题在 2 区最先暴露。
稳妥做法是按字符边界截断:先解码再截取字符数,最后重新编码。若性能敏感,可以保留字节截断,但在截断点向前回退到最近的字符起始字节。两种做法都应在日志里标注是否发生了截断,便于后续核对。
同音、形近、简繁混用,导致同一个词条被拆成好几条检索线索。
「木鱼天」在读者检索记录里至少有三种写法:本字、同音替换、以及形近字混用。写法不同,命中的条目就不同,于是很多人搜过一次没找到,就以为站里没有相关内容。
词条整理的做法是把常见写法列成一张对照表,每种写法都指向同一组核心条目,并在提要里注明「本条亦覆盖某某写法」。这样一来,无论读者用哪种拼法进来,都能落到相同的条目上。需要注意的是,对照表只做导向,不把误拼当作正式题名,避免检索结果越滚越乱。
把自检做成固定流程,比出了问题再回头翻日志省事得多。
五步是:一取测试文本,二比字节,三看声明,四查字体,五做一次跨区对照。前四步在单区就能完成,第五步需要四个区都有可访问的环境。建议把测试文本固定下来,不要每次临时想,固定文本才能做历史对比。
自检结果建议留档,哪怕只是截图。半年后回头查某次改动是否引入乱码时,这些留档就是最直接的证据。
先分清是字节问题还是呈现问题,能省下一半排查时间。
显示不同不等于数据不同。最快的判别方式是复制那段文字去搜索:如果能搜到,说明字节多半是对的,问题在呈现层;如果搜不到但肉眼看着正常,那就是所谓的隐形乱码,字节里混进了不可见字符。两种情形对应的修法完全不同。
缺声明时客户端会猜,猜的规则各端不同,于是结果不一致。
补声明是最直接的修法,但要注意历史兼容:有些老客户端依赖当前的猜测结果,补上声明反而会让它们显示异常。稳妥的做法是先在测试环境按客户端类型分组验证,再逐批放开。
不缺字,缺的是能画出这个字的字体,回退链里没有它。
方块通常意味着字体链里没有能覆盖该字符的字体。排查时按回退顺序逐个确认:首选字体是否加载成功、次选字体是否覆盖该字符集、系统兜底字体是否存在。三者任一缺失都可能显示方块。
修法上,优先显式声明一个覆盖范围较广的兜底字体,而不是无限往链里加字体。字体越多,加载越慢,回退行为也越难预测。
归并的原则是导向一致,而不是把误拼改写成正式题名。
归并时先列写法,再列各自命中的条目,最后取交集作为核心条目。交集之外的条目保留原题名,只在提要里加一行「亦见」。这样既不影响原有检索,也让新读者能顺着链接找过去。
当时的记录只有截图,没有字节对照,回头看价值有限。
这两处差异后来确认分属两类问题:一处是字体缺失,一处是接口声明缺失。当年没有做字节对照,所以结论下得慢。这也是后来坚持把「取字节」写成固定第一步的原因。
肉眼正常、复制出来却多一个不可见字符,很隐蔽。
隐形字符多来自复制粘贴,尤其是从富文本编辑器或表格里带出来的内容。排查办法是把可疑文本转成十六进制逐字节看,通常能发现零宽字符或多余空白。清理时建议在入库前统一做一次规整。