|
 
- UID
- 1
- 帖子
- 738
- 精华
- 28
- 积分
- 14221
- 金币
- 2401
- 威望
- 1647
- 贡献
- 1349
|
HTML语言:什么是Unicode 什么是UTF-8
Unicode和UTF-8在制作网页中对于很多人不是很了解，到底是什么样的概念希望通过本文可以让大家了解，首先说明一下现在常用的一些编码方案：
$ \) j. _3 p+ {6 j
2 ]% q) [7 u+ S0 m+ D1 x4 v 1、在中国，大陆最常用的就是GBK18030编码，除此之外还有GBK，GB2312，这几个编码的关系是这样的。9 i( f+ X7 T, ~* g* M) S6 l/ K
6 S+ ~) ~ a9 O# a 最早制定的汉字编码是GB2312，包括6763个汉字和682个其它符号；95年重新修订了编码，命名GBK1.0，共收录了21886个符号。之后又推出了GBK18030编码，共收录了27484个汉字，同时还收录了藏文、蒙文、维吾尔文等主要的少数民族文字，现在WINDOWS平台必需要支持 GBK18030编码。按照GBK18030、GBK、GB2312的顺序，3种编码是向下兼容，同一个汉字在三个编码方案中是相同的编码。
- [3 `2 I" K1 K, R7 L- O
1 `) R. G) i9 ^ 2、台湾，香港等地使用的是BIG5编码
, s" o7 d: O% `& I, p" }# U' [8 G, H! r" \6 I
3、日本：SJIS编码3 {1 w, K% }' q* t) c' p! J- V
. y/ g. j" s4 F1 h2 x9 c' a
如果把各种文字编码形容为各地的方言，那么Unicode就是世界各国合作开发的一种语言。1 g& M/ z' w- Q6 j6 K2 g
: n# h5 \0 y' l0 O) {# f F2 B k 在这种语言环境下，不会再有语言的编码冲突，在同屏下，可以显示任何语言的内容，这就是Unicode的最大好处。那么Unicode是如何编码的呢? 其实非常简单。就是将世界上所有的文字用2个字节统一进行编码。可能你会问，2个字节最多能够表示65536个编码，够用吗?韩国和日本的大部分汉字都是从中国传播过去的，字型是完全一样的。 比如：“文”字，GBK和SJIS中都是同一个汉字，只是编码不同而已。那样，像这样统一编码，2个字节就已经足够容纳世界上所有的语言的大部分文字了。) u# V) w3 B5 i S. W# r
9 s$ S, A5 ? K& w
Unicode的学名是"Universal Multiple-Octet Coded Character Set"，简称为UCS。
: V1 y. y) D& b4 k1 d: Q* H$ r. G: a8 ~0 K/ E, d5 }
现在用的是UCS-2，即2个字节编码，而UCS-4是为了防止将来2个字节不够用才开发的。UCS-2也称为基本多文种平面，转换到UCS-4只是简单的在前面加2个字节0。UCS-4则主要用于保存辅助平面，例如Unicode 4.0中的第二辅助平面
+ G t9 s- C" o4 b4 s# l) k1 L2 L2 H) R. S, k
20000-20FFF - 21000-21FFF - 22000-22FFF - 23000-23FFF - 24000-24FFF - 25000-25FFF - 26000-26FFF - 27000-27FFF - 28000-28FFF - 29000-29FFF - 2A000-2AFFF - 2F000-2FFFF
7 A5 B5 h9 ?7 o( H3 x( G9 f
; T6 `& U# f; d4 C: x2 v ~- ` x 总共增加了16个辅助平面，由原先的65536个编码扩展至将近100万编码。那么既然统一了编码，如何兼容原先各国的文字编码呢?这个时候就需要codepage了。
. l4 j9 s8 u% ~" X6 R& A7 O' O- i$ H; C/ G0 B M1 e% K0 V8 d
什么是codepage?codepage就是各国的文字编码和Unicode之间的映射表。
6 x6 R/ `8 H9 @3 u, J, {( I: |# p" ^
0 T: c: D+ r2 \/ f7 I3 g 比如简体中文和Unicode的映射表就是CP936，点这里查看官方的映射表；以下是几个常用的codepage，相应的修改上面的地址的数字即可。
( H9 k2 n' c/ l: I. a7 J* {1 l1 _: v2 W( x
codepage=936 简体中文GBK
+ U$ B" Q8 t. f/ O3 i2 g- v" N. v3 V1 ]8 x! t) d0 E
codepage=950 繁体中文BIG5% F3 \1 s4 N* o8 R O% y
, p L" ? Y' v8 V' ^- {
codepage=437 美国/加拿大英语
, K7 ^9 |# C+ l/ Z6 N% c+ @& F( j/ o0 R2 m8 S' n- J1 d
codepage=932 日文
4 h3 l! @9 w" t9 ]# a, a" F
( C) q, {9 b7 N0 j8 ] codepage=949 韩文
+ @5 s" k* u# k1 h
& ?9 o. c4 t, g. _% x codepage=866 俄文7 t' H' m7 u5 e
8 c4 U7 j# I ^. T' G( S9 R0 o codepage=65001 unicode UFT-8 O6 Q/ F2 l6 g/ W
N( n( }% u9 v/ a
最后一个65001，据个人理解，应该只是一个虚拟的映射表，实际只是一个算法而已。
; Z5 F0 i$ m" f) n, {9 X: R" j2 n- s( T$ m& Z6 }
从936中随意取一行，例如：/ x$ C+ S) R2 R( g' w" L
$ }0 }. J3 K7 n 0x9993 0x6ABD #CJK UNIFIED IDEOGRAPH, R8 L* `! z# K! \* v% I/ i! ^
5 Z6 s3 I4 v- z; q 前面的编码是GBK的编码，后面的是Unicode。通过查这张表，就能简单的实现GBK和Unicode之间的转换。- Y. k, m) ~6 T+ x0 \
# ]6 v; Y- ~7 B/ W M6 W! l% j 现在明白了Unicode，那么UTF-8又是什么呢?又为什么会出现UTF-8呢?( a G1 ~2 n& Z4 k$ q
1 M- y2 s6 B4 @
ASCII转换成UCS-2，只是在编码前插入一个0x0。用这些编码，会包括一些控制符，比如 或 /，这在UNIX和一些C函数中，将会产生严重错误。因此可以肯定，UCS-2不适合作为Unicode的外部编码。因此，才诞生了UTF-8。那么 UTF-8是如何编码的?又是如何解决UCS-2的问题呢?
3 F4 q7 t9 q9 a* U
, ]. w) ]7 E/ s' Q7 z 例：1 G7 ?: F6 y' l4 Q- a) G
( L& f4 m2 F0 h9 M+ k2 ^7 p
E4 BD A0 11100100 10111101 10100000
1 m6 X$ ?9 D3 Z# v9 }9 y4 [7 t( m, F0 k; d, `
这是“你”字的UTF-8编码) R* I; f* K# _8 K, R( ]. w; |7 e
7 Q! m: L* y# }0 x" h. f 4F 60 01001111 01100000
. D. h6 G! g' Y! c5 W- }+ y1 i; d4 B) D _7 c* k3 p+ W) x/ G" k/ k B
这是“你”的Unicode编码
4 ]+ k% S- |5 s: H$ [9 B# b7 c2 g7 ~! D/ R
按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000，把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。注意UTF-8的最前面3个1，表示整个UTF-8串是由3个字节构成的。经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。
% T, E3 S1 h8 X3 z1 `
1 O1 l( P5 P" A: K5 I! y 以下是Unicode和UTF-8之间的转换关系表：
1 v& C0 ~: w6 G) a+ q3 O3 t* c: L3 o# a! g
U-00000000 - U-0000007F: 0xxxxxxx
" y0 ~2 j0 [: q+ o8 i, [" ^. _5 ~! b, P0 C, u/ i
U-00000080 - U-000007FF: 110xxxxx 10xxxxxx8 Z* d8 J3 d& e: k
' ~. d9 q3 o+ L$ p1 v
U-00000800 - U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx6 ]" r! y+ I3 t; s5 |, x& L- _+ P
; G) \" q* V, a2 u1 I. r3 U3 @
U-00010000 - U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
5 J$ J- Y! z: w$ x8 m
# o6 s- n# L7 r8 Z* {1 P5 E U-00200000 - U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx5 I/ e5 d d% \) K+ L! r
% y& F* ]! B+ Q8 v- r9 }" I5 u: O U-04000000 - U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
0 ~7 r6 L& E/ e5 s0 t6 p5 A; [0 K- ?! ~8 j1 g0 d
Unicode编码转换到UTF-8,简单的把Unicode字节流套到x中就变成UTF-8了。 |
|
发表于 2008-1-19 23:35
| 