, [2 o, l' P& g: @2 ^& h8 D0 a 1、在中国，大陆最常用的就是GBK18030编码，除此之外还有GBK，GB2312，这几个编码的关系是这样的。! m; a( ~) y% v$ ^& J
6 w) B' O: b& m* i) ?; D
最早制定的汉字编码是GB2312，包括6763个汉字和682个其它符号；95年重新修订了编码，命名GBK1.0，共收录了21886个符号。之后又推出了GBK18030编码，共收录了27484个汉字，同时还收录了藏文、蒙文、维吾尔文等主要的少数民族文字，现在WINDOWS平台必需要支持 GBK18030编码。按照GBK18030、GBK、GB2312的顺序，3种编码是向下兼容，同一个汉字在三个编码方案中是相同的编码。: x5 W+ x0 w9 }6 y. V! t3 [8 h' s
- [! D% J4 p/ }& m% w j0 p 2、台湾，香港等地使用的是BIG5编码% }2 @, `2 q+ B P( K$ ~ f
: Q7 p7 [7 y5 G9 H6 `
3、日本：SJIS编码 3 N/ i4 r( N2 G, C, E- S$ V+ L6 \; R4 x, u* z2 z0 U
如果把各种文字编码形容为各地的方言，那么Unicode就是世界各国合作开发的一种语言。: z# J1 e6 f# D$ E
4 M9 K7 T8 r/ t$ P. h 在这种语言环境下，不会再有语言的编码冲突，在同屏下，可以显示任何语言的内容，这就是Unicode的最大好处。那么Unicode是如何编码的呢? 其实非常简单。就是将世界上所有的文字用2个字节统一进行编码。可能你会问，2个字节最多能够表示65536个编码，够用吗?韩国和日本的大部分汉字都是从中国传播过去的，字型是完全一样的。 比如：“文”字，GBK和SJIS中都是同一个汉字，只是编码不同而已。那样，像这样统一编码，2个字节就已经足够容纳世界上所有的语言的大部分文字了。; u. [% ~. w# V, q: H8 T
& |( l/ w2 x: T) n" Y1 F* T* F 总共增加了16个辅助平面，由原先的65536个编码扩展至将近100万编码。那么既然统一了编码，如何兼容原先各国的文字编码呢?这个时候就需要codepage了。$ i( f0 ^! f' [) w, @; j
2 h& O* s8 w _4 R. d4 W: ~* N3 m 什么是codepage?codepage就是各国的文字编码和Unicode之间的映射表。 ' ^+ g( S" R" S6 { c, d6 [- w9 H" q5 b7 v1 m
比如简体中文和Unicode的映射表就是CP936，点这里查看官方的映射表；以下是几个常用的codepage，相应的修改上面的地址的数字即可。8 @" |: e# u6 g8 t
# r9 Y% r- M/ F$ L; E
codepage=936 简体中文GBK 6 { I8 K) ~2 j' J! m) ]" y( r" J; ^' t/ @3 d) F
codepage=950 繁体中文BIG5 9 \4 _9 P; M5 n1 J: v5 N7 q2 j/ k0 ?( E7 P4 j; r
codepage=437 美国/加拿大英语6 _. D. z! N# h8 `
9 A9 M3 I H. Z* D0 o8 h/ Z$ X codepage=932 日文. y; X2 |: a6 h( ?9 \4 ^$ g
1 `' v6 e6 h; V( z6 c+ N. s, x/ C codepage=949 韩文% Q; m# X5 ]% E( _
. p" h o) F. Y! J- W codepage=866 俄文 ; q$ c- s" d5 h3 ` 1 l/ t! g( e0 f& v codepage=65001 unicode UFT-8 i5 X4 L- O2 k" |& y7 v- H
+ P) r: ^, U. h3 {/ L5 I 最后一个65001，据个人理解，应该只是一个虚拟的映射表，实际只是一个算法而已。 1 S+ D$ i+ g! }0 m, T$ l2 H ) u u( W: K/ W+ Q, i' k 从936中随意取一行，例如： ; {) ?, K+ S5 q1 B * ^; t" D; W( T# b 0x9993 0x6ABD #CJK UNIFIED IDEOGRAPH & Y1 F. k( X5 T. \% U: `, d d2 n
前面的编码是GBK的编码，后面的是Unicode。通过查这张表，就能简单的实现GBK和Unicode之间的转换。' h& p2 J- _3 @8 {" k
& Y7 a4 _- J# l: s1 k/ K* x 现在明白了Unicode，那么UTF-8又是什么呢?又为什么会出现UTF-8呢? $ K9 M5 y" K$ A& I/ ?3 B/ i& i* k2 \4 ^- e6 c
ASCII转换成UCS-2，只是在编码前插入一个0x0。用这些编码，会包括一些控制符，比如 或 /，这在UNIX和一些C函数中，将会产生严重错误。因此可以肯定，UCS-2不适合作为Unicode的外部编码。因此，才诞生了UTF-8。那么 UTF-8是如何编码的?又是如何解决UCS-2的问题呢?; D0 D% }0 u2 I. X9 K
8 |# a1 Z B5 M# U8 @ 例： 8 B- r5 E; R1 n% y5 h& k ; Y7 ^" }6 H) F _& ^6 m' m9 n7 ^5 o E4 BD A0 11100100 10111101 10100000- r9 [" b' e4 E) J2 E- U$ x
; Q' y& I4 Z$ ^0 Y
这是“你”字的UTF-8编码, A A3 @& X- V6 h0 ?
/ l+ E' u0 Y: c 4F 60 01001111 01100000 1 y. ~' K; m7 f' w, u. j( N 3 u( C1 c# f; |2 }) r6 n d 这是“你”的Unicode编码) q9 R9 b, [: k8 }/ N9 e! E
; ~0 _1 M! [% a+ ]% `$ f
按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000，把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。注意UTF-8的最前面3个1，表示整个UTF-8串是由3个字节构成的。经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。' C$ B: h; T/ O& W
