|
 
- UID
- 1
- 帖子
- 738
- 精华
- 28
- 积分
- 14389
- 金币
- 2480
- 威望
- 1647
- 贡献
- 1428
|
HTML语言:什么是Unicode 什么是UTF-8
Unicode和UTF-8在制作网页中对于很多人不是很了解，到底是什么样的概念希望通过本文可以让大家了解，首先说明一下现在常用的一些编码方案：6 g# P: G. A5 b+ h
7 x2 a; ^' M3 m. \1 l$ A 1、在中国，大陆最常用的就是GBK18030编码，除此之外还有GBK，GB2312，这几个编码的关系是这样的。8 z+ ~+ C& c4 v8 s6 Q6 u/ T: Y( `, y
; _4 u/ s7 j! B2 t2 U
最早制定的汉字编码是GB2312，包括6763个汉字和682个其它符号；95年重新修订了编码，命名GBK1.0，共收录了21886个符号。之后又推出了GBK18030编码，共收录了27484个汉字，同时还收录了藏文、蒙文、维吾尔文等主要的少数民族文字，现在WINDOWS平台必需要支持 GBK18030编码。按照GBK18030、GBK、GB2312的顺序，3种编码是向下兼容，同一个汉字在三个编码方案中是相同的编码。
: B6 R" \1 K% ?$ y9 n$ r3 x8 K! {, i5 c M+ ~) i R
2、台湾，香港等地使用的是BIG5编码# B2 m+ l y9 g: N
. D: S: u5 F, V7 c9 D
3、日本：SJIS编码
: z9 u3 P* w. l" c; r0 \! }+ b# B! P3 q& Z8 G& ~
如果把各种文字编码形容为各地的方言，那么Unicode就是世界各国合作开发的一种语言。
( w* \" E% A. Y/ H2 w; F3 A( G! ~" ~* h" N
在这种语言环境下，不会再有语言的编码冲突，在同屏下，可以显示任何语言的内容，这就是Unicode的最大好处。那么Unicode是如何编码的呢? 其实非常简单。就是将世界上所有的文字用2个字节统一进行编码。可能你会问，2个字节最多能够表示65536个编码，够用吗?韩国和日本的大部分汉字都是从中国传播过去的，字型是完全一样的。 比如：“文”字，GBK和SJIS中都是同一个汉字，只是编码不同而已。那样，像这样统一编码，2个字节就已经足够容纳世界上所有的语言的大部分文字了。
( f) M3 i. o% g" c' s6 Y' ]
4 _0 C0 _$ n( _ Unicode的学名是"Universal Multiple-Octet Coded Character Set"，简称为UCS。
* J$ I9 J9 e3 ^: [0 `. L! [: S% d( v% t
现在用的是UCS-2，即2个字节编码，而UCS-4是为了防止将来2个字节不够用才开发的。UCS-2也称为基本多文种平面，转换到UCS-4只是简单的在前面加2个字节0。UCS-4则主要用于保存辅助平面，例如Unicode 4.0中的第二辅助平面
/ v1 Z4 v3 H8 A/ |+ E
3 r. L! y7 H% Z5 l( ? 20000-20FFF - 21000-21FFF - 22000-22FFF - 23000-23FFF - 24000-24FFF - 25000-25FFF - 26000-26FFF - 27000-27FFF - 28000-28FFF - 29000-29FFF - 2A000-2AFFF - 2F000-2FFFF3 M2 S$ E- z P9 i7 i) D
. v! Q& a ?' f8 i5 \% d; A 总共增加了16个辅助平面，由原先的65536个编码扩展至将近100万编码。那么既然统一了编码，如何兼容原先各国的文字编码呢?这个时候就需要codepage了。, N' @; e) ~1 c' X- Y8 `
- e5 e, P F2 |* }7 ~ 什么是codepage?codepage就是各国的文字编码和Unicode之间的映射表。 s: X- \+ h' \( N+ q
/ Q" {6 b6 C1 _4 d- C8 w 比如简体中文和Unicode的映射表就是CP936，点这里查看官方的映射表；以下是几个常用的codepage，相应的修改上面的地址的数字即可。
5 D: i% ?1 I2 \. j) V" \5 d, }
# X& R% R, l* r. h codepage=936 简体中文GBK
, \2 i* P, G' M: Q p" Z) p" e1 `* |9 o. K( V1 h
codepage=950 繁体中文BIG5# o7 u8 _+ U! b9 @
N1 j: I) p' x' D! ]4 i codepage=437 美国/加拿大英语0 G* h8 J. P j# p# o' c a' Q1 m/ F. t
, m2 s d- m6 Q% \, b3 r* ^( k
codepage=932 日文
5 Y' [& h0 ?% H0 c; f) t
+ e0 H T/ A* \, | codepage=949 韩文
: k( z6 S( z2 X% u& q
8 z* f! w0 D* W, [3 A% K codepage=866 俄文
% j- r1 B8 X" }% x* O/ J; a" x3 S% P8 A: l
codepage=65001 unicode UFT-8
# p0 f3 T/ I" B5 M e& s4 k( d! f; W Q. Y8 g b9 L3 z5 T! ]7 g
最后一个65001，据个人理解，应该只是一个虚拟的映射表，实际只是一个算法而已。
& d+ T+ ?/ p7 Z) I0 z) C T( U7 l3 m& C' [( Z a+ e0 c
从936中随意取一行，例如：- _ S3 C- [1 _: u, s
' p1 f% y9 I: A* I0 a 0x9993 0x6ABD #CJK UNIFIED IDEOGRAPH0 P4 {6 F' C5 N: `6 j6 r
4 p; d0 A- j: i$ a8 D 前面的编码是GBK的编码，后面的是Unicode。通过查这张表，就能简单的实现GBK和Unicode之间的转换。
- f( r% ?2 @9 N' E) Z! U) c
" W) a0 A' |$ _* f 现在明白了Unicode，那么UTF-8又是什么呢?又为什么会出现UTF-8呢?
4 X- K$ |# R% e1 J( h0 g7 i. B3 F2 S6 j, |
ASCII转换成UCS-2，只是在编码前插入一个0x0。用这些编码，会包括一些控制符，比如 或 /，这在UNIX和一些C函数中，将会产生严重错误。因此可以肯定，UCS-2不适合作为Unicode的外部编码。因此，才诞生了UTF-8。那么 UTF-8是如何编码的?又是如何解决UCS-2的问题呢?
2 L, X$ e; g( j; i8 J3 X" k: Y6 T# i6 p+ n7 ~$ R8 i$ \
例：
+ V% s! d& h* w* M( ?0 ?( y+ ]& M/ h. z; E. v
E4 BD A0 11100100 10111101 10100000* |% E. G$ @6 w
5 v3 |3 W2 t% R& C' S$ h
这是“你”字的UTF-8编码* J' x( K: f Y# c
: }3 k; o+ H4 L/ g' T0 ?* y 4F 60 01001111 01100000 \3 t* v/ q. v; A% k
4 U' H* E/ O' `3 k4 V% J 这是“你”的Unicode编码
1 ?+ Q; B6 ]6 T( s" [- D
# F9 R1 P* l$ t- a8 z( V& m% T 按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000，把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。注意UTF-8的最前面3个1，表示整个UTF-8串是由3个字节构成的。经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。
" G8 s2 W' u! D; y3 a& s- N, j7 b5 y
以下是Unicode和UTF-8之间的转换关系表： ^7 H a# i+ @+ T6 R
8 A# e+ c0 @+ j! O U-00000000 - U-0000007F: 0xxxxxxx
# e, ^) t3 N, Z |' f- C2 v; n% u; J- n; O/ j
U-00000080 - U-000007FF: 110xxxxx 10xxxxxx
' Y! e$ x/ F& q: {* j+ b; A- P* \1 |
U-00000800 - U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx
1 C9 N4 C/ ~, K0 I7 E+ K6 A/ U. d' G1 m) I! t* ^* ?
U-00010000 - U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
* X; ~. X% c, F* o/ o4 `8 H8 P# q* Z. `8 P- r% R* l
U-00200000 - U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
& R4 t' A. G3 {" k. }& z8 [& z+ Q( g7 a% y, n5 ]% U% a
U-04000000 - U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx) T ?5 ?: m) k
$ d5 p8 E, U, B4 u Unicode编码转换到UTF-8,简单的把Unicode字节流套到x中就变成UTF-8了。 |
|
发表于 2008-1-19 23:35
| 