|
 
- UID
- 1
- 帖子
- 738
- 精华
- 28
- 积分
- 14391
- 金币
- 2481
- 威望
- 1647
- 贡献
- 1429
|
HTML语言:什么是Unicode 什么是UTF-8
Unicode和UTF-8在制作网页中对于很多人不是很了解，到底是什么样的概念希望通过本文可以让大家了解，首先说明一下现在常用的一些编码方案：
* W% W8 K G! N! I U1 a' J1 b6 p& g, [! {% R/ O+ ]; I
1、在中国，大陆最常用的就是GBK18030编码，除此之外还有GBK，GB2312，这几个编码的关系是这样的。
- t9 d8 ?! i ^7 u1 n# c3 B4 Q5 J4 X( G( W- D
最早制定的汉字编码是GB2312，包括6763个汉字和682个其它符号；95年重新修订了编码，命名GBK1.0，共收录了21886个符号。之后又推出了GBK18030编码，共收录了27484个汉字，同时还收录了藏文、蒙文、维吾尔文等主要的少数民族文字，现在WINDOWS平台必需要支持 GBK18030编码。按照GBK18030、GBK、GB2312的顺序，3种编码是向下兼容，同一个汉字在三个编码方案中是相同的编码。
7 T0 z$ e. E. T+ `
# I7 A+ Q5 Q I. b 2、台湾，香港等地使用的是BIG5编码
) X- I9 f2 X: ~; d( A' `
4 p0 r0 A4 Q0 b& b( `* H0 u! A9 x( ` 3、日本：SJIS编码7 |# ?$ b" O# R0 H
; t/ k5 U$ l" u2 d) `" Z 如果把各种文字编码形容为各地的方言，那么Unicode就是世界各国合作开发的一种语言。+ k# p/ u0 { ]* u& G% n( m
& u6 {/ ~. g, T6 Q0 ] 在这种语言环境下，不会再有语言的编码冲突，在同屏下，可以显示任何语言的内容，这就是Unicode的最大好处。那么Unicode是如何编码的呢? 其实非常简单。就是将世界上所有的文字用2个字节统一进行编码。可能你会问，2个字节最多能够表示65536个编码，够用吗?韩国和日本的大部分汉字都是从中国传播过去的，字型是完全一样的。 比如：“文”字，GBK和SJIS中都是同一个汉字，只是编码不同而已。那样，像这样统一编码，2个字节就已经足够容纳世界上所有的语言的大部分文字了。; S& @/ p3 T! |4 j
[4 w( E8 y, W. f Unicode的学名是"Universal Multiple-Octet Coded Character Set"，简称为UCS。6 T- h" n; k: |
( L/ r9 ~! h7 S' o 现在用的是UCS-2，即2个字节编码，而UCS-4是为了防止将来2个字节不够用才开发的。UCS-2也称为基本多文种平面，转换到UCS-4只是简单的在前面加2个字节0。UCS-4则主要用于保存辅助平面，例如Unicode 4.0中的第二辅助平面
1 D3 S# @; d, M
" A8 r9 B" l% F2 E: A% d 20000-20FFF - 21000-21FFF - 22000-22FFF - 23000-23FFF - 24000-24FFF - 25000-25FFF - 26000-26FFF - 27000-27FFF - 28000-28FFF - 29000-29FFF - 2A000-2AFFF - 2F000-2FFFF
2 E; Z; `/ W/ G/ f' D0 k' i7 h+ f8 ~5 S8 P3 R6 p
总共增加了16个辅助平面，由原先的65536个编码扩展至将近100万编码。那么既然统一了编码，如何兼容原先各国的文字编码呢?这个时候就需要codepage了。. s' R" _ w2 k: @6 s6 e; T8 x; T
, R# x( r- ~/ Q: M0 v% x 什么是codepage?codepage就是各国的文字编码和Unicode之间的映射表。
/ l6 N0 P% u) ]; m: `2 `2 |4 a
5 B1 a* K0 _* \8 x O$ z* u: E 比如简体中文和Unicode的映射表就是CP936，点这里查看官方的映射表；以下是几个常用的codepage，相应的修改上面的地址的数字即可。3 j6 k. P: u; G4 A4 R
, @* v% O% u% c, x
codepage=936 简体中文GBK
5 H5 n. r* b0 i n6 w) i2 `* ?3 q/ M
codepage=950 繁体中文BIG50 s |9 v0 ?$ G0 f" ^$ H4 _
* i$ Y# T! M& J" E
codepage=437 美国/加拿大英语
7 Z6 l7 m$ o+ Z0 j% I/ M2 |3 [+ e; `% j# N5 i; N5 v
codepage=932 日文8 Z1 @, L* n% _/ ?, u, c
7 ~& z4 X$ M/ @0 l; x0 l
codepage=949 韩文
$ J/ ]9 P$ x8 ~; D
! L* S, F3 T" c6 o O* j) R2 t7 V codepage=866 俄文
" P& d2 w" j' [8 f6 R" E5 r" b
codepage=65001 unicode UFT-86 r; @ C: [+ o r6 y
) t# g" k3 u* [* p9 N2 v- C
最后一个65001，据个人理解，应该只是一个虚拟的映射表，实际只是一个算法而已。( `" E8 } Q [3 N# a
' F- {" p! r& i$ e P' p
从936中随意取一行，例如：
9 e8 D7 j Q7 y8 a' f. g. J1 e/ h# N
0x9993 0x6ABD #CJK UNIFIED IDEOGRAPH
% h; N$ @) u/ [, O( f6 p
" h5 b; h6 s/ R: [ 前面的编码是GBK的编码，后面的是Unicode。通过查这张表，就能简单的实现GBK和Unicode之间的转换。( G0 g5 D. y# R
4 H4 l8 }: q& o/ x' {' ? 现在明白了Unicode，那么UTF-8又是什么呢?又为什么会出现UTF-8呢?
2 L* a) T' G. P2 n
3 G% U9 _) r1 x7 d4 x ASCII转换成UCS-2，只是在编码前插入一个0x0。用这些编码，会包括一些控制符，比如 或 /，这在UNIX和一些C函数中，将会产生严重错误。因此可以肯定，UCS-2不适合作为Unicode的外部编码。因此，才诞生了UTF-8。那么 UTF-8是如何编码的?又是如何解决UCS-2的问题呢?! \- U. |3 J- V! V
! e; f7 m9 W7 \0 a6 s! q
例： B, N2 f3 a' n
+ h- W' K4 X l b/ q0 R) {" c E4 BD A0 11100100 10111101 10100000' T3 E# u0 F, B: H# r% _! R2 W
8 ^; e4 g% U% ?2 T& { 这是“你”字的UTF-8编码2 B$ H9 M8 i3 b! g
0 K# v% ?+ O4 r/ i x4 {+ B7 a 4F 60 01001111 01100000
, w) D4 m6 U! ~, _, e; H m6 g1 W3 R' @3 D; j
这是“你”的Unicode编码. G) \; |7 X- B& j; s C
' q, x' N) j/ n S1 |6 q: M 按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000，把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。注意UTF-8的最前面3个1，表示整个UTF-8串是由3个字节构成的。经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。
% b/ Q' X" I& K7 @: d6 B; t
2 q/ G5 w+ i5 M+ v 以下是Unicode和UTF-8之间的转换关系表：
! X: X. m" H" ^, D* m, U# @) w% B% |( V. L7 \8 u
U-00000000 - U-0000007F: 0xxxxxxx
" H9 f) L7 h" ]. r y4 J
3 j; J r1 F) C1 C. l) v U-00000080 - U-000007FF: 110xxxxx 10xxxxxx6 b: ^5 F; `+ }4 E T
I5 ] \8 a9 E9 |8 I5 x3 w U-00000800 - U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx
" h! A' M' Z4 ]* y" C# Y( e! t9 o6 @9 S8 u/ I+ \ [5 t/ l2 @
U-00010000 - U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx) ]& j5 [9 N' H+ m/ u# _
$ i4 A/ V" X- I2 ^ U-00200000 - U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx& T3 T; a# \. O0 j! ^* F
5 [: ~" H: d, I4 ?9 r
U-04000000 - U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
4 _- F9 D& i6 w8 M/ h- B5 o8 `/ J( {, X1 p$ H5 p+ E: M
Unicode编码转换到UTF-8,简单的把Unicode字节流套到x中就变成UTF-8了。 |
|
发表于 2008-1-19 23:35
| 