深入理解 Node.js Buffer 的 Encoding

时间：2022-10-13 22:16:11

深入理解 Node.js Buffer 的 Encoding

字符怎么存储呢?就是靠编码，不同的字符对应不同的编码，然后在需要渲染的时候根据对应编码去查字体库，然后渲染对应字符的图形。

字符集

字符集(charset)最早是 ASCII 码，也就是 abc ABC 123 等 128 个字符，因为计算机最早就是美国发明的。后来欧洲也制定了一套字符集标准，叫做 ISO，后来中国也搞了一套，叫做 GBK。

国际标准化组织觉得不能这样各自搞一套，不然同一个编码在不同字符集里面就不同的意思，于是就提出了 unicode 编码，把全世界大部分编码收录，这样每个字符只有唯一的编码。

但是 ASCII 码只需要 1 个字节就可以存储，而 GBK 需要 2 个字节，还有的字符集需要 3 个字节等。有的只要一个字节存储却存了 2 个字节，比较浪费空间。所以就出现了 utf-8、utf-16、utf-24 等不同编码方案。

utf-8、utf-16、utf-24 都是 unicode 编码，但是具体实现方案不同。

UTF-8 为了节省空间，设计了从 1 到 6 个字节的变长存储方案。而 UTF-16 是固定 2 个字节，UTF-24 是固定 4 个字节。

深入理解 Node.js Buffer 的 Encoding

最后，UTF-8 因为占用空间最少，所以被广泛应用。

Node.js 的 Buffer 的 encoding

每种语言都支持字符集的编码解码，Node.js 也同样。

Node.js 里面可以通过 Buffer 来存储二进制的数据，而二进制的数据转为字符串的时候就需要指定字符集，Buffer 的 from、byteLength、lastIndexOf 等方法都支持指定 encoding：

具体支持的 encoding 有这些：

utf8、ucs2、utf16le、latin1、ascii、base64、hex

可能有的同学会发现：base64、hex 不是字符集啊，怎么也出现在这里?

是的，字节到字符的编码方案除了字符集之外，也有用于转为明文字符的 base64、以及转为 16 进制的 hex。

这也是为什么 Node.js 把它叫做 encoding 而不是 charset，因为支持的编解码方案不只是字符集。

如果不指定 encoding，默认是 utf8。

  1. const buf = Buffer.alloc(11, 'aGVsbG8gd29ybGQ=', 'base64'); 
  2.  
  3. console.log(buf.toString());// hello world 

encoding 的 源码

我去翻了下 Node.js 关于 encoding 的源码：

这一段是实现 encoding 的：

https://github.com/nodejs/node/blob/master/lib/buffer.js#L587-L726

可以看到每个 encoding 都实现了 encoding、encodingVal、byteLength、write、slice、indexOf 这几个 api，因为这些 api 用不同 encoding 方案，会有不同的结果，Node.js 会根据传入的 encoding 来返回不同的对象，这是一种多态的思想。

  1. const encodingOps = { 
  2.   utf8: { 
  3.     encoding: 'utf8', 
  4.     encodingVal: encodingsMap.utf8, 
  5.     byteLength: byteLengthUtf8, 
  6.     write: (buf, string, offset, len) => buf.utf8Write(string, offset, len), 
  7.     slice: (buf, start, end) => buf.utf8Slice(start, end), 
  8.     indexOf: (buf, val, byteOffset, dir) => 
  9.       indexOfString(buf, val, byteOffset, encodingsMap.utf8, dir) 
  10.   }, 
  11.   ucs2: { 
  12.     encoding: 'ucs2', 
  13.     encodingVal: encodingsMap.utf16le, 
  14.     byteLength: (string) => string.length * 2, 
  15.     write: (buf, string, offset, len) => buf.ucs2Write(string, offset, len), 
  16.     slice: (buf, start, end) => buf.ucs2Slice(start, end), 
  17.     indexOf: (buf, val, byteOffset, dir) => 
  18.       indexOfString(buf, val, byteOffset, encodingsMap.utf16le, dir) 
  19.   }, 
  20.   utf16le: { 
  21.     encoding: 'utf16le', 
  22.     encodingVal: encodingsMap.utf16le, 
  23.     byteLength: (string) => string.length * 2, 
  24.     write: (buf, string, offset, len) => buf.ucs2Write(string, offset, len), 
  25.     slice: (buf, start, end) => buf.ucs2Slice(start, end), 
  26.     indexOf: (buf, val, byteOffset, dir) => 
  27.       indexOfString(buf, val, byteOffset, encodingsMap.utf16le, dir) 
  28.   }, 
  29.   latin1: { 
  30.     encoding: 'latin1', 
  31.     encodingVal: encodingsMap.latin1, 
  32.     byteLength: (string) => string.length, 
  33.     write: (buf, string, offset, len) => buf.latin1Write(string, offset, len), 
  34.     slice: (buf, start, end) => buf.latin1Slice(start, end), 
  35.     indexOf: (buf, val, byteOffset, dir) => 
  36.       indexOfString(buf, val, byteOffset, encodingsMap.latin1, dir) 
  37.   }, 
  38.   ascii: { 
  39.     encoding: 'ascii', 
  40.     encodingVal: encodingsMap.ascii, 
  41.     byteLength: (string) => string.length, 
  42.     write: (buf, string, offset, len) => buf.asciiWrite(string, offset, len), 
  43.     slice: (buf, start, end) => buf.asciiSlice(start, end), 
  44.     indexOf: (buf, val, byteOffset, dir) => 
  45.       indexOfBuffer(buf, 
  46.                     fromStringFast(val, encodingOps.ascii), 
  47.                     byteOffset, 
  48.                     encodingsMap.ascii, 
  49.                     dir) 
  50.   }, 
  51.   base64: { 
  52.     encoding: 'base64', 
  53.     encodingVal: encodingsMap.base64, 
  54.     byteLength: (string) => base64ByteLength(string, string.length), 
  55.     write: (buf, string, offset, len) => buf.base64Write(string, offset, len), 
  56.     slice: (buf, start, end) => buf.base64Slice(start, end), 
  57.     indexOf: (buf, val, byteOffset, dir) => 
  58.       indexOfBuffer(buf, 
  59.                     fromStringFast(val, encodingOps.base64), 
  60.                     byteOffset, 
  61.                     encodingsMap.base64, 
  62.                     dir) 
  63.   }, 
  64.   hex: { 
  65.     encoding: 'hex', 
  66.     encodingVal: encodingsMap.hex, 
  67.     byteLength: (string) => string.length >>> 1, 
  68.     write: (buf, string, offset, len) => buf.hexWrite(string, offset, len), 
  69.     slice: (buf, start, end) => buf.hexSlice(start, end), 
  70.     indexOf: (buf, val, byteOffset, dir) => 
  71.       indexOfBuffer(buf, 
  72.                     fromStringFast(val, encodingOps.hex), 
  73.                     byteOffset, 
  74.                     encodingsMap.hex, 
  75.                     dir) 
  76.   } 
  77. }; 
  78. function getEncodingOps(encoding) { 
  79.   encoding += ''; 
  80.   switch (encoding.length) { 
  81.     case 4: 
  82.       if (encoding === 'utf8') return encodingOps.utf8; 
  83.       if (encoding === 'ucs2') return encodingOps.ucs2; 
  84.       encoding = StringPrototypeToLowerCase(encoding); 
  85.       if (encoding === 'utf8') return encodingOps.utf8; 
  86.       if (encoding === 'ucs2') return encodingOps.ucs2; 
  87.       break; 
  88.     case 5: 
  89.       if (encoding === 'utf-8') return encodingOps.utf8; 
  90.       if (encoding === 'ascii') return encodingOps.ascii; 
  91.       if (encoding === 'ucs-2') return encodingOps.ucs2; 
  92.       encoding = StringPrototypeToLowerCase(encoding); 
  93.       if (encoding === 'utf-8') return encodingOps.utf8; 
  94.       if (encoding === 'ascii') return encodingOps.ascii; 
  95.       if (encoding === 'ucs-2') return encodingOps.ucs2; 
  96.       break; 
  97.     case 7: 
  98.       if (encoding === 'utf16le' || 
  99.           StringPrototypeToLowerCase(encoding) === 'utf16le') 
  100.         return encodingOps.utf16le; 
  101.       break; 
  102.     case 8: 
  103.       if (encoding === 'utf-16le' || 
  104.           StringPrototypeToLowerCase(encoding) === 'utf-16le') 
  105.         return encodingOps.utf16le; 
  106.       break; 
  107.     case 6: 
  108.       if (encoding === 'latin1' || encoding === 'binary') 
  109.         return encodingOps.latin1; 
  110.       if (encoding === 'base64') return encodingOps.base64; 
  111.       encoding = StringPrototypeToLowerCase(encoding); 
  112.       if (encoding === 'latin1' || encoding === 'binary') 
  113.         return encodingOps.latin1; 
  114.       if (encoding === 'base64') return encodingOps.base64; 
  115.       break; 
  116.     case 3: 
  117.       if (encoding === 'hex' || StringPrototypeToLowerCase(encoding) === 'hex') 
  118.         return encodingOps.hex; 
  119.       break; 
  120.   } 
  121. } 

总结

计算机中存储数据的最小单位是位，但是存储信息最小的单位是字节，基于编码和字符的映射关系又实现了各种字符集，包括 ascii、iso、gbk 等，而国际标准化组织提出了 unicode 来包含所有字符，unicode 实现方案有若干种：utf-8、utf-16、utf-32，他们分别用不同的字节数来存储字符。其中 utf-8 是变长的，存储体积最小，所以被广泛应用。

Node.js 通过 Buffer 存储二进制数据，而转为字符串时需要指定编码方案，这个编码方案不只是包含字符集(charset)，也支持 hex、base64 的方案，包括：

utf8、ucs2、utf16le、latin1、ascii、base64、hex

我们看了下 encoding 的 Node.js 源码，发现每种编码方案都会用实现一系列 api，这是一种多态的思想。

原文地址：https://mp.weixin.qq.com/s/XGW2eOsdEue6KvM1hMhCvw

标签：

相关文章