|
 
- UID
- 1
- 帖子
- 738
- 精华
- 28
- 积分
- 14443
- 金币
- 2507
- 威望
- 1647
- 贡献
- 1455
|
HTML语言:什么是Unicode 什么是UTF-8
Unicode和UTF-8在制作网页中对于很多人不是很了解，到底是什么样的概念希望通过本文可以让大家了解，首先说明一下现在常用的一些编码方案：
2 ~2 v, X( W. D4 A) x, e# u* u, Q7 F. ]+ t9 u6 C
1、在中国，大陆最常用的就是GBK18030编码，除此之外还有GBK，GB2312，这几个编码的关系是这样的。
: h" Y% E* }; z
$ p. E9 a, m. v) X- k 最早制定的汉字编码是GB2312，包括6763个汉字和682个其它符号；95年重新修订了编码，命名GBK1.0，共收录了21886个符号。之后又推出了GBK18030编码，共收录了27484个汉字，同时还收录了藏文、蒙文、维吾尔文等主要的少数民族文字，现在WINDOWS平台必需要支持 GBK18030编码。按照GBK18030、GBK、GB2312的顺序，3种编码是向下兼容，同一个汉字在三个编码方案中是相同的编码。' K) N, s3 P( @1 P6 q& b
0 d6 v, x1 m" N, R
2、台湾，香港等地使用的是BIG5编码1 p3 n" a- m d, W! w9 m, b
( x# h) M* U C/ Q2 Z( h7 D
3、日本：SJIS编码
1 B; j7 i" l6 ?- M
0 P1 R5 L* r( y. X0 g/ k# s* e4 h 如果把各种文字编码形容为各地的方言，那么Unicode就是世界各国合作开发的一种语言。$ s/ A& W, p6 x) {% L% X u( k
; k/ q; l' i! h3 `& n
在这种语言环境下，不会再有语言的编码冲突，在同屏下，可以显示任何语言的内容，这就是Unicode的最大好处。那么Unicode是如何编码的呢? 其实非常简单。就是将世界上所有的文字用2个字节统一进行编码。可能你会问，2个字节最多能够表示65536个编码，够用吗?韩国和日本的大部分汉字都是从中国传播过去的，字型是完全一样的。 比如：“文”字，GBK和SJIS中都是同一个汉字，只是编码不同而已。那样，像这样统一编码，2个字节就已经足够容纳世界上所有的语言的大部分文字了。1 j9 b, n( ?& v5 Y
$ h/ `6 `3 e; D& O2 g4 Q% B5 {" R$ }
Unicode的学名是"Universal Multiple-Octet Coded Character Set"，简称为UCS。; z. u5 q7 T3 g4 I) f
0 S; k' Y8 P/ _0 H* ~7 P6 e* s
现在用的是UCS-2，即2个字节编码，而UCS-4是为了防止将来2个字节不够用才开发的。UCS-2也称为基本多文种平面，转换到UCS-4只是简单的在前面加2个字节0。UCS-4则主要用于保存辅助平面，例如Unicode 4.0中的第二辅助平面8 u7 _( E; w& s! |. u8 f3 {9 W
) j$ u9 `# x2 T2 ^/ y 20000-20FFF - 21000-21FFF - 22000-22FFF - 23000-23FFF - 24000-24FFF - 25000-25FFF - 26000-26FFF - 27000-27FFF - 28000-28FFF - 29000-29FFF - 2A000-2AFFF - 2F000-2FFFF" g" ]. T j0 D) E/ u J: Z
! A5 ]: z+ T5 M: [$ ?; l% v# W
总共增加了16个辅助平面，由原先的65536个编码扩展至将近100万编码。那么既然统一了编码，如何兼容原先各国的文字编码呢?这个时候就需要codepage了。
8 v3 G2 V3 `3 N- z( M$ {
X# z+ p; I, w" [5 w 什么是codepage?codepage就是各国的文字编码和Unicode之间的映射表。
" k1 D% u d" J/ @$ E; `: t+ b/ I& Z0 E( a- T; v: F; o
比如简体中文和Unicode的映射表就是CP936，点这里查看官方的映射表；以下是几个常用的codepage，相应的修改上面的地址的数字即可。1 J$ _' n: n2 M1 i. u
4 \9 \8 M" F7 n( Z# W8 K3 k" W, v A
codepage=936 简体中文GBK6 k, c) v+ a, X! W: y3 ]3 ~1 p
/ ^4 n0 ^5 Q( `% o5 P! F7 e codepage=950 繁体中文BIG5
& A6 v4 ^9 S. a P- j# u8 N' M$ j3 v0 c6 U5 i
codepage=437 美国/加拿大英语
4 z3 d. K( B0 O2 N
: T7 G+ @7 ?. s& F' ^( M! v4 z codepage=932 日文9 O l% S5 ^8 ^) v) D; P6 P, A
3 y+ ^" D3 J7 l$ A
codepage=949 韩文
, P+ s8 ~, _' C% k2 C' G8 x8 R; E2 R3 V9 D, a$ v
codepage=866 俄文
+ T; B" y* `" _- o
V' m5 z$ S' d# d# x2 [5 S codepage=65001 unicode UFT-8
' f7 T0 ?9 Q% \! f' D) c6 S4 R/ R& |) L9 A
最后一个65001，据个人理解，应该只是一个虚拟的映射表，实际只是一个算法而已。
) g% r* l$ Q1 d
5 a- h$ z6 u' P0 b! u 从936中随意取一行，例如：4 d/ J* p/ D7 {. @3 m0 R! w
! A6 X8 A* { O7 R 0x9993 0x6ABD #CJK UNIFIED IDEOGRAPH
# Z. E' {" N5 v9 H/ \5 i
- M7 l( W I; U3 Z 前面的编码是GBK的编码，后面的是Unicode。通过查这张表，就能简单的实现GBK和Unicode之间的转换。
+ L0 _( \4 O6 I) @+ c$ J1 m Z
现在明白了Unicode，那么UTF-8又是什么呢?又为什么会出现UTF-8呢?
_+ S/ ~1 |- H; z0 |( }5 @1 ?6 p7 }$ _2 x) `2 F
ASCII转换成UCS-2，只是在编码前插入一个0x0。用这些编码，会包括一些控制符，比如 或 /，这在UNIX和一些C函数中，将会产生严重错误。因此可以肯定，UCS-2不适合作为Unicode的外部编码。因此，才诞生了UTF-8。那么 UTF-8是如何编码的?又是如何解决UCS-2的问题呢?
7 U$ l5 S! h4 r, o/ X7 H0 P. M8 W* _8 {9 R9 z* E
例：
) s+ J! ~. v( v/ A% e2 l9 |/ u: t& C" ?2 Q. C' H8 V
E4 BD A0 11100100 10111101 10100000
- F8 P( I0 Z9 i0 g) S3 D
: Y% c! r' L( P) p, N 这是“你”字的UTF-8编码9 E) _9 M: }* \, U: I1 B/ J
j4 p% S0 z# x' c& X+ z 4F 60 01001111 01100000% d7 T6 W4 z5 F) M. R3 c4 e
, Y S& \% ^1 c0 |. l' V
这是“你”的Unicode编码- y0 {2 c! j* w
. V* w+ O. @5 m2 {) L& |
按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000，把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。注意UTF-8的最前面3个1，表示整个UTF-8串是由3个字节构成的。经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。
" _. R# c, _' t$ d3 Y: N+ m6 T6 [8 F, \ O
以下是Unicode和UTF-8之间的转换关系表：* D2 G4 v( { B1 A6 J9 _. r2 v
- k# o! a! }! r1 Y2 P- ~
U-00000000 - U-0000007F: 0xxxxxxx
) w& L8 h; F7 Q( g) ]; o0 M/ n" v& b5 Y- s8 J, {$ `
U-00000080 - U-000007FF: 110xxxxx 10xxxxxx
/ {+ t: S0 F4 a2 S) `# n( r' A: u% o9 H0 Y
U-00000800 - U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx
% i" q1 @$ s1 j+ ~- N: w" A+ ^3 ~
U-00010000 - U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx1 r* [0 J! T- S8 {9 z
) k2 Z, R `! w5 @8 I U-00200000 - U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
' B" V/ ?* k$ Q4 ~" T% u4 n
4 j5 t6 b E$ F( F6 q/ v3 z+ T$ ~ U-04000000 - U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx6 u) j% r7 G# u* U
* M- Q! {8 l8 Q: ~* Q- x3 G
Unicode编码转换到UTF-8,简单的把Unicode字节流套到x中就变成UTF-8了。 |
|
发表于 2008-1-19 23:35
| 