|
 
- UID
- 1
- 帖子
- 738
- 精华
- 28
- 积分
- 14443
- 金币
- 2507
- 威望
- 1647
- 贡献
- 1455
|
HTML语言:什么是Unicode 什么是UTF-8
Unicode和UTF-8在制作网页中对于很多人不是很了解，到底是什么样的概念希望通过本文可以让大家了解，首先说明一下现在常用的一些编码方案：
5 h! P* D0 n% R$ M, E) ~) E- ^9 L2 A. J& T
1、在中国，大陆最常用的就是GBK18030编码，除此之外还有GBK，GB2312，这几个编码的关系是这样的。- T& q H0 _. s
- H: I9 p5 G5 o! O0 N- K, }1 @6 W1 F 最早制定的汉字编码是GB2312，包括6763个汉字和682个其它符号；95年重新修订了编码，命名GBK1.0，共收录了21886个符号。之后又推出了GBK18030编码，共收录了27484个汉字，同时还收录了藏文、蒙文、维吾尔文等主要的少数民族文字，现在WINDOWS平台必需要支持 GBK18030编码。按照GBK18030、GBK、GB2312的顺序，3种编码是向下兼容，同一个汉字在三个编码方案中是相同的编码。
7 _5 m0 d9 T. T t7 ~0 n9 T% d" G+ S6 z8 i
2、台湾，香港等地使用的是BIG5编码2 O9 |0 q: C$ |; H6 B$ d
9 T; b% t) {' X5 s* \7 u 3、日本：SJIS编码
' z" f# G y4 N% Y% Z7 _/ S
) X% n/ ?( s z* I 如果把各种文字编码形容为各地的方言，那么Unicode就是世界各国合作开发的一种语言。
3 Z* _0 r* Q4 p& `* X/ M8 e+ \4 b' E
在这种语言环境下，不会再有语言的编码冲突，在同屏下，可以显示任何语言的内容，这就是Unicode的最大好处。那么Unicode是如何编码的呢? 其实非常简单。就是将世界上所有的文字用2个字节统一进行编码。可能你会问，2个字节最多能够表示65536个编码，够用吗?韩国和日本的大部分汉字都是从中国传播过去的，字型是完全一样的。 比如：“文”字，GBK和SJIS中都是同一个汉字，只是编码不同而已。那样，像这样统一编码，2个字节就已经足够容纳世界上所有的语言的大部分文字了。1 E- B$ Y3 e& f) i9 R
* c }2 V" q5 V: t Unicode的学名是"Universal Multiple-Octet Coded Character Set"，简称为UCS。& a. I% x3 p' L$ y" Y2 d8 Q
* u: J) s+ e3 M
现在用的是UCS-2，即2个字节编码，而UCS-4是为了防止将来2个字节不够用才开发的。UCS-2也称为基本多文种平面，转换到UCS-4只是简单的在前面加2个字节0。UCS-4则主要用于保存辅助平面，例如Unicode 4.0中的第二辅助平面+ J* G& n1 U0 J* S: `% u, N
- U* o: y0 l, N) E# P0 y 20000-20FFF - 21000-21FFF - 22000-22FFF - 23000-23FFF - 24000-24FFF - 25000-25FFF - 26000-26FFF - 27000-27FFF - 28000-28FFF - 29000-29FFF - 2A000-2AFFF - 2F000-2FFFF
' ]1 ? W6 c' [# p8 w8 i) ]' u& C& Q2 j. p. j8 }7 e5 k7 J
总共增加了16个辅助平面，由原先的65536个编码扩展至将近100万编码。那么既然统一了编码，如何兼容原先各国的文字编码呢?这个时候就需要codepage了。
+ J( [+ I& a. g6 e6 d J
- f' S. [" E L; E6 n 什么是codepage?codepage就是各国的文字编码和Unicode之间的映射表。
- E( q# @; Y8 U6 \7 @! d- N4 e
" T# w8 ]; B9 s 比如简体中文和Unicode的映射表就是CP936，点这里查看官方的映射表；以下是几个常用的codepage，相应的修改上面的地址的数字即可。& m: Y8 s9 d2 r% X+ F; r% z$ N
/ k! N* L+ P- O2 R+ M codepage=936 简体中文GBK
: U) ^; C4 Y) j' R. V; C. O% \5 y
0 E J0 V# s- j1 u3 h- N+ h codepage=950 繁体中文BIG54 W s+ Q: {. k& k' e. {
0 G, S, _8 ]& k) K! L codepage=437 美国/加拿大英语; h7 s3 s8 o- j: u$ m Z
6 E$ i: \$ {5 e4 }$ X
codepage=932 日文
% {) p) I4 D- P8 r4 Z5 l' k' h
3 W) ^) j7 t1 f, I2 z codepage=949 韩文
1 x3 }1 n4 k1 ?, ?
. r1 f$ i4 C2 z3 y1 m codepage=866 俄文" w. `! W! e3 L( g+ G9 {) ^
: r* L7 v# o, |5 w6 ] codepage=65001 unicode UFT-8
) [: O6 b9 J1 H- k# F1 K2 s. C8 ]7 B; _
最后一个65001，据个人理解，应该只是一个虚拟的映射表，实际只是一个算法而已。
8 z! ?1 [& A7 r% k. n: r5 g$ ]2 G
从936中随意取一行，例如：
8 D# r: h- G; e
0 a8 s& a- E& \" H9 i* S 0x9993 0x6ABD #CJK UNIFIED IDEOGRAPH
4 x: c, R5 F) j% S1 b, x# H2 h% U0 ], q, T9 }
前面的编码是GBK的编码，后面的是Unicode。通过查这张表，就能简单的实现GBK和Unicode之间的转换。
, {. h2 b! z! Q8 `
. i2 d0 J/ T4 e7 s 现在明白了Unicode，那么UTF-8又是什么呢?又为什么会出现UTF-8呢?
* C7 y; F* _# [5 ?
, F% x: i3 V4 |& U" p$ r ASCII转换成UCS-2，只是在编码前插入一个0x0。用这些编码，会包括一些控制符，比如 或 /，这在UNIX和一些C函数中，将会产生严重错误。因此可以肯定，UCS-2不适合作为Unicode的外部编码。因此，才诞生了UTF-8。那么 UTF-8是如何编码的?又是如何解决UCS-2的问题呢? {/ r1 S/ T5 @: ~4 M- t8 Z
$ E- }% t |+ f" P 例：3 Z: u+ T* p8 Z- N
% |& ]; I) i7 y E4 BD A0 11100100 10111101 10100000; ?" F& V* H9 U7 ^
- W! o( ?9 I7 \# q+ L$ `3 T
这是“你”字的UTF-8编码) a$ a/ k/ [5 i- O) \. p
! o5 V) j }& ~ ]+ L 4F 60 01001111 01100000
7 {! Z5 `% a# \ ]- t$ c0 R0 j, G
' j9 h. \ b; T1 \ 这是“你”的Unicode编码, S E0 V7 M8 R- j' W! v& I
5 ?" }5 `# ~% G
按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000，把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。注意UTF-8的最前面3个1，表示整个UTF-8串是由3个字节构成的。经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。" ~' y6 s0 I; ~1 [
; [( i4 S6 k# M3 h 以下是Unicode和UTF-8之间的转换关系表：
2 }4 Q0 o- F7 |- }. e8 [6 h) Y+ x
% m. k" |$ t9 H; N8 P$ Y* ^ U-00000000 - U-0000007F: 0xxxxxxx! r" l; P$ X3 ^) p: K3 x" n
- j3 \. ^( F! i8 t- s1 d U-00000080 - U-000007FF: 110xxxxx 10xxxxxx: J: |( _ |5 b. s
; ^) b& c8 z$ V# ~" [2 x% I
U-00000800 - U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx
4 c4 n/ }6 ]* l7 Q5 @5 o: D# n' C" S# u/ o! T
U-00010000 - U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx* d# N: r) C3 I/ c6 y2 I
0 k* M$ _ x/ \: [
U-00200000 - U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx- ^) u4 w3 [- T3 W$ ]
3 l* `" [0 F$ B3 S6 d( r* F
U-04000000 - U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx3 m( a4 K! W+ m- Z% |7 i% Z
7 G8 q8 y: ~6 g
Unicode编码转换到UTF-8,简单的把Unicode字节流套到x中就变成UTF-8了。 |
|
发表于 2008-1-19 23:35
| 