|
 
- UID
- 1
- 帖子
- 738
- 精华
- 28
- 积分
- 14221
- 金币
- 2401
- 威望
- 1647
- 贡献
- 1349
|
HTML语言:什么是Unicode 什么是UTF-8
Unicode和UTF-8在制作网页中对于很多人不是很了解，到底是什么样的概念希望通过本文可以让大家了解，首先说明一下现在常用的一些编码方案：7 X& Q' R4 Y$ ?2 y' n
$ p9 n% P9 G; L: F 1、在中国，大陆最常用的就是GBK18030编码，除此之外还有GBK，GB2312，这几个编码的关系是这样的。
' x6 y; M6 H( j
7 @; m" i0 O$ w: d 最早制定的汉字编码是GB2312，包括6763个汉字和682个其它符号；95年重新修订了编码，命名GBK1.0，共收录了21886个符号。之后又推出了GBK18030编码，共收录了27484个汉字，同时还收录了藏文、蒙文、维吾尔文等主要的少数民族文字，现在WINDOWS平台必需要支持 GBK18030编码。按照GBK18030、GBK、GB2312的顺序，3种编码是向下兼容，同一个汉字在三个编码方案中是相同的编码。+ M; Z- E! S7 E' K
+ G/ t- c! v/ @, ]7 U 2、台湾，香港等地使用的是BIG5编码
. T! b7 T0 }& i3 V) {6 @; M* [0 R { o
3、日本：SJIS编码
* L& w& b w- {! B& s% D) h! l1 W6 f0 B) H) |8 Z( E
如果把各种文字编码形容为各地的方言，那么Unicode就是世界各国合作开发的一种语言。
1 |* S$ Y7 u T/ b( x
2 l' E2 _. o A1 u4 K4 c 在这种语言环境下，不会再有语言的编码冲突，在同屏下，可以显示任何语言的内容，这就是Unicode的最大好处。那么Unicode是如何编码的呢? 其实非常简单。就是将世界上所有的文字用2个字节统一进行编码。可能你会问，2个字节最多能够表示65536个编码，够用吗?韩国和日本的大部分汉字都是从中国传播过去的，字型是完全一样的。 比如：“文”字，GBK和SJIS中都是同一个汉字，只是编码不同而已。那样，像这样统一编码，2个字节就已经足够容纳世界上所有的语言的大部分文字了。
5 q$ X, S4 p: N& o8 J( n9 x* K/ q9 o; E
Unicode的学名是"Universal Multiple-Octet Coded Character Set"，简称为UCS。
* ]" q9 T4 F* G- G
5 I! U- s. `5 w; M3 X* T! q 现在用的是UCS-2，即2个字节编码，而UCS-4是为了防止将来2个字节不够用才开发的。UCS-2也称为基本多文种平面，转换到UCS-4只是简单的在前面加2个字节0。UCS-4则主要用于保存辅助平面，例如Unicode 4.0中的第二辅助平面3 ?; r3 c, p4 {' ]$ p8 | U
- M, g: v( a+ O& D7 c
20000-20FFF - 21000-21FFF - 22000-22FFF - 23000-23FFF - 24000-24FFF - 25000-25FFF - 26000-26FFF - 27000-27FFF - 28000-28FFF - 29000-29FFF - 2A000-2AFFF - 2F000-2FFFF
# A! G0 X; N7 u! O1 [% |# s
# B' i8 ~8 _+ C" q 总共增加了16个辅助平面，由原先的65536个编码扩展至将近100万编码。那么既然统一了编码，如何兼容原先各国的文字编码呢?这个时候就需要codepage了。
( r V6 ] I9 z( b& B# y
' R* n4 U' k* m# m! L! a 什么是codepage?codepage就是各国的文字编码和Unicode之间的映射表。' b# J# V! e, m' W" p. m
6 h X. T& O: s$ t2 L% ?
比如简体中文和Unicode的映射表就是CP936，点这里查看官方的映射表；以下是几个常用的codepage，相应的修改上面的地址的数字即可。& I! k( w6 V" x7 y9 G# G
* B8 I+ v/ Q9 O" C+ O: Z5 u/ T codepage=936 简体中文GBK. ~# E3 |' M) e% g* M
/ z+ E) N4 k6 E$ Q1 w
codepage=950 繁体中文BIG5
W6 p$ ?- V% ?6 w. X6 {" J
$ j9 X8 ?" [0 R7 N codepage=437 美国/加拿大英语
( B+ u V: q- P4 I' J$ h3 h7 \" Y& K8 a3 L; w# s7 E: |% X
codepage=932 日文 i6 R% p M/ p% i. V$ a3 _
% t4 t' m6 Y# e$ r, }( _ codepage=949 韩文
2 [" |# J4 ]9 Q0 T7 S$ M
( f' |- o# m+ n% {" a! M$ Y codepage=866 俄文
" `8 T4 o' m: R5 i
8 \1 f4 H% v9 W( P0 X codepage=65001 unicode UFT-83 U6 i; Y' x" G( @( Q X2 R4 m
2 T: C4 z# A6 [* U: D. g 最后一个65001，据个人理解，应该只是一个虚拟的映射表，实际只是一个算法而已。' F* e1 r1 V# I" W- A
: S9 d- Q- r0 P: U
从936中随意取一行，例如：9 \( y# J" L8 D3 \2 T& h [% z' C! X2 F8 \
6 }0 @* }/ J/ U) ^7 O 0x9993 0x6ABD #CJK UNIFIED IDEOGRAPH- [3 \/ @8 o* J0 T# V' N4 J! y- p
; e2 a0 w4 X" t 前面的编码是GBK的编码，后面的是Unicode。通过查这张表，就能简单的实现GBK和Unicode之间的转换。
+ u1 @- p- U3 f v N9 Q% }, k7 v. d0 S/ A7 ]$ o ~
现在明白了Unicode，那么UTF-8又是什么呢?又为什么会出现UTF-8呢?- [2 Q" N3 A" H" l+ f, } ?9 }
. O8 j) H/ _5 [1 Q) N! i
ASCII转换成UCS-2，只是在编码前插入一个0x0。用这些编码，会包括一些控制符，比如 或 /，这在UNIX和一些C函数中，将会产生严重错误。因此可以肯定，UCS-2不适合作为Unicode的外部编码。因此，才诞生了UTF-8。那么 UTF-8是如何编码的?又是如何解决UCS-2的问题呢?2 r6 f$ ^+ _+ u' f
3 S9 N4 k( F- l& Y" I 例：3 {8 E# ^; r8 s- L9 {! Q0 }" _
) ~& C% ^. K; M6 j9 y, }4 h0 w E4 BD A0 11100100 10111101 10100000
0 a* U( s; f2 Z. E6 j9 T0 n/ z# D# _; u1 O: s; x- p7 N; x b
这是“你”字的UTF-8编码% w1 g" R; R7 J, R) o; W) E3 Q% |
& A8 C' _7 K3 Q 4F 60 01001111 01100000
" J8 O$ d3 r m/ }' C, z) H: T% A+ c5 |* U& @' c
这是“你”的Unicode编码( K# p* T% ^- v" m% w
5 s& l( |" x7 f1 k# R8 V# ^ 按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000，把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。注意UTF-8的最前面3个1，表示整个UTF-8串是由3个字节构成的。经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。' O7 F- B5 L2 a+ K- r1 w; @. ?
' k1 o; } p" d! K, z$ w; X2 v 以下是Unicode和UTF-8之间的转换关系表：9 U2 l5 K0 }. A
" H) J/ a; [- R0 P& W0 O ^
U-00000000 - U-0000007F: 0xxxxxxx
9 [2 x: T0 L# _8 J. C. }. B
1 k# o' d8 Z* n7 V: I) s U-00000080 - U-000007FF: 110xxxxx 10xxxxxx: N8 X$ C Z, \0 e3 X4 c
5 `# r2 R5 K5 ?; Y
U-00000800 - U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx
0 Q# G6 q2 }/ G+ p
1 K. o9 r3 z% A U-00010000 - U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
7 B+ J# R7 B4 W6 i# X5 K, L
, V3 y$ z2 b/ q% g, T8 D6 ]" j U-00200000 - U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx& k# i; k% ~# _" F! a! \
3 A; }% F4 W4 Z
U-04000000 - U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx# H0 T. D. s( J" h1 J) r
1 Z$ J' C1 e9 K) U6 f
Unicode编码转换到UTF-8,简单的把Unicode字节流套到x中就变成UTF-8了。 |
|
发表于 2008-1-19 23:35
| 