|
 
- UID
- 1
- 帖子
- 738
- 精华
- 28
- 积分
- 14443
- 金币
- 2507
- 威望
- 1647
- 贡献
- 1455
|
HTML语言:什么是Unicode 什么是UTF-8
Unicode和UTF-8在制作网页中对于很多人不是很了解，到底是什么样的概念希望通过本文可以让大家了解，首先说明一下现在常用的一些编码方案：! u& L4 M# f5 G) s4 A' q8 V
% u6 h7 ?% K- \, P$ x, q
1、在中国，大陆最常用的就是GBK18030编码，除此之外还有GBK，GB2312，这几个编码的关系是这样的。
; U; V. _) m& n- T( P0 _4 `, k- u2 U& B; J4 G# l# \1 Z
最早制定的汉字编码是GB2312，包括6763个汉字和682个其它符号；95年重新修订了编码，命名GBK1.0，共收录了21886个符号。之后又推出了GBK18030编码，共收录了27484个汉字，同时还收录了藏文、蒙文、维吾尔文等主要的少数民族文字，现在WINDOWS平台必需要支持 GBK18030编码。按照GBK18030、GBK、GB2312的顺序，3种编码是向下兼容，同一个汉字在三个编码方案中是相同的编码。+ Y' \ f, |4 P# p! R
" s9 k" s. x% P% l! F 2、台湾，香港等地使用的是BIG5编码$ h, T% f& _1 l0 }" ^( @
V8 h' J3 M! N 3、日本：SJIS编码
8 I( t6 u. \, U) D
; I3 Q! a- g! L0 B% V 如果把各种文字编码形容为各地的方言，那么Unicode就是世界各国合作开发的一种语言。) H! J+ R8 b# h/ b+ I% I/ M
7 \$ a" W! Z7 J
在这种语言环境下，不会再有语言的编码冲突，在同屏下，可以显示任何语言的内容，这就是Unicode的最大好处。那么Unicode是如何编码的呢? 其实非常简单。就是将世界上所有的文字用2个字节统一进行编码。可能你会问，2个字节最多能够表示65536个编码，够用吗?韩国和日本的大部分汉字都是从中国传播过去的，字型是完全一样的。 比如：“文”字，GBK和SJIS中都是同一个汉字，只是编码不同而已。那样，像这样统一编码，2个字节就已经足够容纳世界上所有的语言的大部分文字了。
c6 p4 N0 e7 |" @
7 o5 Y# \$ `. x" G Unicode的学名是"Universal Multiple-Octet Coded Character Set"，简称为UCS。
% o5 ^9 r4 W5 ^" U' n/ w+ |* D4 R
现在用的是UCS-2，即2个字节编码，而UCS-4是为了防止将来2个字节不够用才开发的。UCS-2也称为基本多文种平面，转换到UCS-4只是简单的在前面加2个字节0。UCS-4则主要用于保存辅助平面，例如Unicode 4.0中的第二辅助平面
4 ~1 x3 C7 j7 G a8 t) A: G; f8 j9 W5 C& i
20000-20FFF - 21000-21FFF - 22000-22FFF - 23000-23FFF - 24000-24FFF - 25000-25FFF - 26000-26FFF - 27000-27FFF - 28000-28FFF - 29000-29FFF - 2A000-2AFFF - 2F000-2FFFF2 ~9 S$ Q1 ^2 x0 h- x! E8 p
, V% S$ ~9 ~; N% Y& W8 U7 ^0 ^4 ]
总共增加了16个辅助平面，由原先的65536个编码扩展至将近100万编码。那么既然统一了编码，如何兼容原先各国的文字编码呢?这个时候就需要codepage了。8 ?& y* {' S5 D' W+ O9 j, y
& w% Y; ~; M1 d- T
什么是codepage?codepage就是各国的文字编码和Unicode之间的映射表。* E+ g2 U3 n; V8 P' b
' P' ^# Z6 H7 P9 x& T
比如简体中文和Unicode的映射表就是CP936，点这里查看官方的映射表；以下是几个常用的codepage，相应的修改上面的地址的数字即可。
. d0 h! a/ A3 t$ j0 D9 I9 Z3 h; w# f8 [6 _: h7 t0 o4 h, d
codepage=936 简体中文GBK
! ~" U7 }* W' |! G. o4 N* t7 Q W& T/ W+ y1 O3 M4 t8 T$ I8 d: o! {9 {" B
codepage=950 繁体中文BIG5& i6 |, M% z5 M
" a [( F1 h4 y, S! ^! c* C
codepage=437 美国/加拿大英语0 o& S- L3 D8 N- }
0 v4 D( g7 h; w- ?- r
codepage=932 日文$ W3 A" y7 ^2 N u( L
$ N- r0 N; D( W$ C$ `# p
codepage=949 韩文
& e- \ X c, V! y% T3 N+ R D
. b3 n% U6 y- z0 g4 h codepage=866 俄文* k5 ]. M2 j X4 w$ K
1 | g* C- N( E2 Z: b+ L5 S
codepage=65001 unicode UFT-8
0 n' K' c5 @1 x8 L+ i* y- U; g1 e. h# P
最后一个65001，据个人理解，应该只是一个虚拟的映射表，实际只是一个算法而已。$ l3 }; h* J `( } i- ^* `) y
) F- B- [- @/ o7 P2 h
从936中随意取一行，例如：' m8 B$ s7 b. c/ {) `
6 W) e4 `# P3 D' c* {' u
0x9993 0x6ABD #CJK UNIFIED IDEOGRAPH. G7 K: q* [& b/ }' _. ?
- j' J, c! ?' T# s4 R t: O
前面的编码是GBK的编码，后面的是Unicode。通过查这张表，就能简单的实现GBK和Unicode之间的转换。
# m1 k- h1 c" D$ r4 n( s+ C; H
# }/ j( I' e1 S+ F$ \) s 现在明白了Unicode，那么UTF-8又是什么呢?又为什么会出现UTF-8呢?
* y' d" T; V2 u: m7 K( ?3 g' @4 r( | k' V' f- C0 F
ASCII转换成UCS-2，只是在编码前插入一个0x0。用这些编码，会包括一些控制符，比如 或 /，这在UNIX和一些C函数中，将会产生严重错误。因此可以肯定，UCS-2不适合作为Unicode的外部编码。因此，才诞生了UTF-8。那么 UTF-8是如何编码的?又是如何解决UCS-2的问题呢?
: r2 \' A/ ^: C/ @4 n
2 X* m/ B7 s5 s 例：
) U1 @+ U" a" R5 X# ]$ G; m; }$ p7 y6 L% M
E4 BD A0 11100100 10111101 10100000
( h6 K; Q# T/ F0 e3 _% l1 H, E6 o, h) F( s; X) w
这是“你”字的UTF-8编码4 b' L5 W7 ^. T
* L, j9 l1 ]/ |" S0 i
4F 60 01001111 01100000
3 p2 T& r/ S) U, F8 ^& w0 O, z0 M
( [6 m' a7 Q7 D% m 这是“你”的Unicode编码, k' d% j) }) O; i4 o7 C
1 O) ]7 k& c' I, P- U' t8 t
按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000，把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。注意UTF-8的最前面3个1，表示整个UTF-8串是由3个字节构成的。经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。
( P8 C1 ]0 H. G7 @3 z: X, g$ ~4 k) D( T7 E
以下是Unicode和UTF-8之间的转换关系表：' @) \5 \ n: Y* a
s/ S+ F8 Z1 ]
U-00000000 - U-0000007F: 0xxxxxxx
7 r' e: |: o5 x7 F: m2 \; Q- L3 G( S9 h6 i
U-00000080 - U-000007FF: 110xxxxx 10xxxxxx
" D- h7 u$ Q: ?: `; a6 t: g0 W# |& V( g2 S
U-00000800 - U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx
$ k5 _! d. Y% k/ X% w2 E+ F5 }7 {1 v: F% ?* P7 o' N
U-00010000 - U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
% |! |& t# w7 n$ `0 ~! m0 n9 _ C0 b2 j& Q1 n1 x
U-00200000 - U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx2 J* J, e2 t0 i# Y2 O
! _+ Q: b: |% |; W U-04000000 - U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx: Z$ |! C( B# M& R k4 b
: A; O# Y5 W: u N# c& ]# A/ @; [3 c Unicode编码转换到UTF-8,简单的把Unicode字节流套到x中就变成UTF-8了。 |
|
发表于 2008-1-19 23:35
| 