|
 
- UID
- 1
- 帖子
- 738
- 精华
- 28
- 积分
- 14443
- 金币
- 2507
- 威望
- 1647
- 贡献
- 1455
|
HTML语言:什么是Unicode 什么是UTF-8
Unicode和UTF-8在制作网页中对于很多人不是很了解，到底是什么样的概念希望通过本文可以让大家了解，首先说明一下现在常用的一些编码方案：
9 K: P: n% T% f$ n* R
7 O0 h. `; m3 W* P 1、在中国，大陆最常用的就是GBK18030编码，除此之外还有GBK，GB2312，这几个编码的关系是这样的。0 ~8 P7 k) u3 M& B. }0 y& Y( O' ?. i- C, A
# H4 ~* X3 n& o
最早制定的汉字编码是GB2312，包括6763个汉字和682个其它符号；95年重新修订了编码，命名GBK1.0，共收录了21886个符号。之后又推出了GBK18030编码，共收录了27484个汉字，同时还收录了藏文、蒙文、维吾尔文等主要的少数民族文字，现在WINDOWS平台必需要支持 GBK18030编码。按照GBK18030、GBK、GB2312的顺序，3种编码是向下兼容，同一个汉字在三个编码方案中是相同的编码。
+ d/ [8 P, u1 d! h; ?
/ T7 W/ Q$ O5 K; y, o1 @0 Y 2、台湾，香港等地使用的是BIG5编码( q# o" E# l; O1 P( v
) }6 h4 D' y f7 l# `& L 3、日本：SJIS编码
# e9 t) D2 ?4 x# r$ Z; n: G7 M( x" z$ g F* C* t9 h R
如果把各种文字编码形容为各地的方言，那么Unicode就是世界各国合作开发的一种语言。1 _6 |8 Y! N. s% d5 @
( f" j5 Q& p9 K3 v, ]; t1 W; G
在这种语言环境下，不会再有语言的编码冲突，在同屏下，可以显示任何语言的内容，这就是Unicode的最大好处。那么Unicode是如何编码的呢? 其实非常简单。就是将世界上所有的文字用2个字节统一进行编码。可能你会问，2个字节最多能够表示65536个编码，够用吗?韩国和日本的大部分汉字都是从中国传播过去的，字型是完全一样的。 比如：“文”字，GBK和SJIS中都是同一个汉字，只是编码不同而已。那样，像这样统一编码，2个字节就已经足够容纳世界上所有的语言的大部分文字了。
4 {, A6 e7 J3 |3 Q
" i% O; T, l p8 E Unicode的学名是"Universal Multiple-Octet Coded Character Set"，简称为UCS。
' ^8 j% L5 A4 w
L, R8 D" G- k" b) o 现在用的是UCS-2，即2个字节编码，而UCS-4是为了防止将来2个字节不够用才开发的。UCS-2也称为基本多文种平面，转换到UCS-4只是简单的在前面加2个字节0。UCS-4则主要用于保存辅助平面，例如Unicode 4.0中的第二辅助平面
" N, p% M8 J5 }8 y3 e/ {1 L
( p* [0 Y" v6 j `! D 20000-20FFF - 21000-21FFF - 22000-22FFF - 23000-23FFF - 24000-24FFF - 25000-25FFF - 26000-26FFF - 27000-27FFF - 28000-28FFF - 29000-29FFF - 2A000-2AFFF - 2F000-2FFFF/ D' T% f0 A: g. j! A& d
( i- q: \: F5 x
总共增加了16个辅助平面，由原先的65536个编码扩展至将近100万编码。那么既然统一了编码，如何兼容原先各国的文字编码呢?这个时候就需要codepage了。
7 d# }' K; Y! ^7 Z- j* c; `7 y; `$ u# U' V
什么是codepage?codepage就是各国的文字编码和Unicode之间的映射表。4 P2 b$ f6 U* p! Y. t7 S" `' i
" n% s8 y; w T9 O/ x" K 比如简体中文和Unicode的映射表就是CP936，点这里查看官方的映射表；以下是几个常用的codepage，相应的修改上面的地址的数字即可。
+ z1 r% y7 _- I S! ^
* u5 @" _* c/ p codepage=936 简体中文GBK
4 I3 B4 X1 _& W- l' v9 t, Z9 V( ^3 B6 d. r4 b" M
codepage=950 繁体中文BIG5
( z% l) `% \( q$ s- H! `6 B8 M% Q7 g) j7 `# @
codepage=437 美国/加拿大英语; q/ g" y5 R9 t7 o6 b
2 E0 J; I$ Z% | codepage=932 日文( o1 H: C. L; n; H% B7 z8 K
9 f7 A. k) s! p( \! w
codepage=949 韩文5 r7 R J, x2 f9 T; E
, u8 O! l& k1 u. Y codepage=866 俄文7 }# g9 H. H Y- g0 y, z v
8 s5 d4 M2 M5 ?) [2 i0 j2 a codepage=65001 unicode UFT-8
* D; S; s, a$ Z( K/ i4 r& \
\: z2 R7 X, [- e 最后一个65001，据个人理解，应该只是一个虚拟的映射表，实际只是一个算法而已。
M& p# H. X6 _$ v5 V. R7 E- j/ x+ U% d' o3 h
从936中随意取一行，例如：( ~- J/ Z2 o5 @3 H
9 e+ y% O$ k7 B% c2 l( D" W4 p6 R/ x 0x9993 0x6ABD #CJK UNIFIED IDEOGRAPH
/ A; G+ a/ k0 Y- s5 C2 E, x# S5 h0 ?# Q* W$ u* a$ W U, M" U
前面的编码是GBK的编码，后面的是Unicode。通过查这张表，就能简单的实现GBK和Unicode之间的转换。- ?& V& x' m* J7 V
. M r% E2 v: A% H7 k( q# C- H 现在明白了Unicode，那么UTF-8又是什么呢?又为什么会出现UTF-8呢?1 }( N+ ] A4 V2 y- m2 g8 k$ ?8 o
3 o1 g% O5 W Z% y
ASCII转换成UCS-2，只是在编码前插入一个0x0。用这些编码，会包括一些控制符，比如 或 /，这在UNIX和一些C函数中，将会产生严重错误。因此可以肯定，UCS-2不适合作为Unicode的外部编码。因此，才诞生了UTF-8。那么 UTF-8是如何编码的?又是如何解决UCS-2的问题呢?( q7 r+ W8 t5 {: q$ [. B
% U* X8 I' T' S3 [3 | 例：
: J4 z# ^0 A- c$ g, Y& }5 Z2 `/ \: E' p+ W# [. o; s, x' Y
E4 BD A0 11100100 10111101 10100000
; \9 Z& A! U" A" r% x2 ]: m( }% B1 R, y1 [/ I
这是“你”字的UTF-8编码( m8 n+ L: C5 I+ K: {$ E1 U- a
. D/ B7 T& H0 R! h
4F 60 01001111 01100000) w1 r% l6 u6 U0 I# X+ L
8 q# I1 u9 f6 M7 C2 y
这是“你”的Unicode编码/ v, o& P7 i U
6 Z; S- R! D& \% z& x4 {( H% d
按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000，把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。注意UTF-8的最前面3个1，表示整个UTF-8串是由3个字节构成的。经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。
. k5 [2 w0 k$ x/ p# u
% p# S7 n, Q. V" Q! [' k 以下是Unicode和UTF-8之间的转换关系表：
5 g1 @0 i0 x' l! m. i
* p0 S& B/ b. F$ _* x U-00000000 - U-0000007F: 0xxxxxxx
- K3 t: d( z; x7 b6 w/ F
1 A+ J6 F6 t$ x3 t5 H% z U-00000080 - U-000007FF: 110xxxxx 10xxxxxx- U. U4 x9 e, i5 ?- G) M# O* w* W
6 v5 |; Z& [$ g- \9 O U-00000800 - U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx
: M9 z7 T/ f# O7 W" i: T$ A0 M$ W2 F. g$ E- m) I: F
U-00010000 - U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
9 E7 a2 { ?. `1 b/ {# u1 [0 u! N) Y% v3 h! D" q5 L9 l9 H
U-00200000 - U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx0 O4 k) F/ E# A2 e! N5 p% K" U& K2 |/ a
g2 y8 D$ l: p8 E$ g( F U-04000000 - U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx7 b5 f8 `# v6 ?5 y
9 a* Z9 L3 B9 _( ?
Unicode编码转换到UTF-8,简单的把Unicode字节流套到x中就变成UTF-8了。 |
|
发表于 2008-1-19 23:35
| 