|
 
- UID
- 1
- 帖子
- 738
- 精华
- 28
- 积分
- 14389
- 金币
- 2480
- 威望
- 1647
- 贡献
- 1428
|
HTML语言:什么是Unicode 什么是UTF-8
Unicode和UTF-8在制作网页中对于很多人不是很了解，到底是什么样的概念希望通过本文可以让大家了解，首先说明一下现在常用的一些编码方案：8 }& I8 J( y( ?5 N) u1 a
4 y' Y' i' }; t: {- y 1、在中国，大陆最常用的就是GBK18030编码，除此之外还有GBK，GB2312，这几个编码的关系是这样的。
' c) O, ]' ]3 R& M; w1 R: d+ @# F. e2 n( l: j4 @ |) i) k
最早制定的汉字编码是GB2312，包括6763个汉字和682个其它符号；95年重新修订了编码，命名GBK1.0，共收录了21886个符号。之后又推出了GBK18030编码，共收录了27484个汉字，同时还收录了藏文、蒙文、维吾尔文等主要的少数民族文字，现在WINDOWS平台必需要支持 GBK18030编码。按照GBK18030、GBK、GB2312的顺序，3种编码是向下兼容，同一个汉字在三个编码方案中是相同的编码。
2 \ r8 \% ]5 {9 @7 b( b6 K* O. o E+ ^% K. s; Q
2、台湾，香港等地使用的是BIG5编码1 E9 B9 \, u1 r, O' e0 O
0 {/ U" e+ Y% g8 I. `. M
3、日本：SJIS编码: {6 l$ J- C7 D- r3 @+ l
$ [- y% Z7 j# W+ K i+ k
如果把各种文字编码形容为各地的方言，那么Unicode就是世界各国合作开发的一种语言。
9 a: w% O/ }! n' I$ q" i
; ]6 s$ z7 z5 i" ~ 在这种语言环境下，不会再有语言的编码冲突，在同屏下，可以显示任何语言的内容，这就是Unicode的最大好处。那么Unicode是如何编码的呢? 其实非常简单。就是将世界上所有的文字用2个字节统一进行编码。可能你会问，2个字节最多能够表示65536个编码，够用吗?韩国和日本的大部分汉字都是从中国传播过去的，字型是完全一样的。 比如：“文”字，GBK和SJIS中都是同一个汉字，只是编码不同而已。那样，像这样统一编码，2个字节就已经足够容纳世界上所有的语言的大部分文字了。1 Q8 i, |: [( f* ]% a7 i6 g5 P3 A
& V' T/ X& u9 } Unicode的学名是"Universal Multiple-Octet Coded Character Set"，简称为UCS。! v# {6 o" ^7 _% o- A: y
; ?" p% n$ x& V8 b' ?1 F 现在用的是UCS-2，即2个字节编码，而UCS-4是为了防止将来2个字节不够用才开发的。UCS-2也称为基本多文种平面，转换到UCS-4只是简单的在前面加2个字节0。UCS-4则主要用于保存辅助平面，例如Unicode 4.0中的第二辅助平面
1 g1 @5 {. ?3 ~: ?- T( K$ t; j) k9 g
7 w. R8 y# c# i/ E8 u& b 20000-20FFF - 21000-21FFF - 22000-22FFF - 23000-23FFF - 24000-24FFF - 25000-25FFF - 26000-26FFF - 27000-27FFF - 28000-28FFF - 29000-29FFF - 2A000-2AFFF - 2F000-2FFFF5 h; I* _7 F5 P5 m
( `& }5 @ A0 u6 {4 m, R' G
总共增加了16个辅助平面，由原先的65536个编码扩展至将近100万编码。那么既然统一了编码，如何兼容原先各国的文字编码呢?这个时候就需要codepage了。
- T7 y+ W0 g. W
8 @) v+ a3 ~0 k/ M+ J3 T9 G2 P 什么是codepage?codepage就是各国的文字编码和Unicode之间的映射表。0 z' B0 b4 W" J
+ M9 h/ }* S% {- s
比如简体中文和Unicode的映射表就是CP936，点这里查看官方的映射表；以下是几个常用的codepage，相应的修改上面的地址的数字即可。
9 B. n9 _6 r+ ?, r9 Q+ K7 M: S9 X
1 z$ S- F9 s7 m- V codepage=936 简体中文GBK/ A+ [! ]3 i; S* F6 p
% q$ m6 s$ w' l/ e
codepage=950 繁体中文BIG51 a6 b4 s) ^! C4 M$ F
$ U1 m" S; _% C G( e- c codepage=437 美国/加拿大英语
4 ?6 |) z4 t/ e# t/ X4 q6 u
% ]( x( a' t. K1 V- e3 Y codepage=932 日文6 g/ f8 k# I+ E/ a: w3 ]" J4 s# N
" ?8 }2 w% T1 ~* _3 j' Q codepage=949 韩文
1 {$ C& B. n6 W) z% j8 o
9 d: a/ ^$ `5 W- ? codepage=866 俄文
' T% V' a2 I. P' B" |" E! E3 d9 q1 t. J1 u
codepage=65001 unicode UFT-8
/ M# v: J0 z: U' m3 Y5 U2 {; P& b7 n5 J# d# a7 R* |6 b( z
最后一个65001，据个人理解，应该只是一个虚拟的映射表，实际只是一个算法而已。
+ z; j4 l$ h7 W" C
* G |' _+ B1 N6 X- d6 E 从936中随意取一行，例如：
: R+ ], _( @. k
; O& J4 F5 W4 q0 S( \9 M% L 0x9993 0x6ABD #CJK UNIFIED IDEOGRAPH
! J- u' G! i' H% T' \. k/ E: s: \2 {1 C1 {3 G; H5 T, |# Z
前面的编码是GBK的编码，后面的是Unicode。通过查这张表，就能简单的实现GBK和Unicode之间的转换。1 d( J# v2 ]6 B' {4 [
0 p$ h$ w+ ~: V. X# W% }0 r 现在明白了Unicode，那么UTF-8又是什么呢?又为什么会出现UTF-8呢?
; O' x' k9 r; {, v/ V& ]3 p& g% y" t2 O8 O% |7 M
ASCII转换成UCS-2，只是在编码前插入一个0x0。用这些编码，会包括一些控制符，比如 或 /，这在UNIX和一些C函数中，将会产生严重错误。因此可以肯定，UCS-2不适合作为Unicode的外部编码。因此，才诞生了UTF-8。那么 UTF-8是如何编码的?又是如何解决UCS-2的问题呢?& Q6 k3 p, O3 F& L
& a# y* A5 ?5 {2 }' o
例：
7 A3 d* `5 E ~2 s% h6 B7 O/ F( D+ ]5 L
E4 BD A0 11100100 10111101 10100000# x' d' `6 }, @# M5 {7 Q
5 _* @+ v m! H: D, J* Q
这是“你”字的UTF-8编码% t8 }# S/ m- J e9 L0 ?
& T3 m1 S5 A" r
4F 60 01001111 01100000
) |. [, D! P7 Z7 f1 ~
; I8 Y a6 \$ ^$ t5 E 这是“你”的Unicode编码
/ t d% ^+ B- _/ F x& s+ z% O" M5 V
按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000，把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。注意UTF-8的最前面3个1，表示整个UTF-8串是由3个字节构成的。经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。
. k/ C- R) U* ?: E% f
2 J- {9 F$ O% }. F 以下是Unicode和UTF-8之间的转换关系表：
5 l, h+ v9 J6 X3 T7 L+ Z0 X/ o x7 x6 t3 W- _0 H1 Z
U-00000000 - U-0000007F: 0xxxxxxx
+ J6 U9 q: C% |+ K; e7 M% y7 z+ L1 |7 W+ T6 P R3 ?( n3 @# e
U-00000080 - U-000007FF: 110xxxxx 10xxxxxx
. o2 Z1 \3 d& i5 q" f2 {0 U. x, `) L5 O8 g& C
U-00000800 - U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx
6 B9 c( {. j9 M, |' |8 J: K. |" h, ` Z
U-00010000 - U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
" C9 a' X8 z4 p# ]# e. M9 s6 m# O" B: i' l
U-00200000 - U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
$ a# c5 G7 @/ t; h
3 w* a. l3 q* } U-04000000 - U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
& ~ x+ _( c5 G
; Q# o5 [5 R" T9 k Unicode编码转换到UTF-8,简单的把Unicode字节流套到x中就变成UTF-8了。 |
|
发表于 2008-1-19 23:35
| 