|
 
- UID
- 1
- 帖子
- 738
- 精华
- 28
- 积分
- 14191
- 金币
- 2386
- 威望
- 1647
- 贡献
- 1334
|
HTML语言:什么是Unicode 什么是UTF-8
Unicode和UTF-8在制作网页中对于很多人不是很了解，到底是什么样的概念希望通过本文可以让大家了解，首先说明一下现在常用的一些编码方案：4 f7 o' R8 M+ z$ f, @7 @
% A( B9 X; f/ H/ ], S 1、在中国，大陆最常用的就是GBK18030编码，除此之外还有GBK，GB2312，这几个编码的关系是这样的。0 R; W+ K# O( u- I
! \' Q- x4 P4 l; }+ w$ K, F 最早制定的汉字编码是GB2312，包括6763个汉字和682个其它符号；95年重新修订了编码，命名GBK1.0，共收录了21886个符号。之后又推出了GBK18030编码，共收录了27484个汉字，同时还收录了藏文、蒙文、维吾尔文等主要的少数民族文字，现在WINDOWS平台必需要支持 GBK18030编码。按照GBK18030、GBK、GB2312的顺序，3种编码是向下兼容，同一个汉字在三个编码方案中是相同的编码。
, x* C) p( V6 l4 g+ v4 E# [! ?
/ g" [/ E5 `0 c- }- j1 r5 g 2、台湾，香港等地使用的是BIG5编码
. x0 T c' X, ?& k
5 A* l! R j" p3 J8 X T/ [ 3、日本：SJIS编码
0 l8 k7 H5 X. Y9 B- V+ z. r. L T/ T( |2 Q4 N6 ?' d( R9 O# P& D. g4 w- u
如果把各种文字编码形容为各地的方言，那么Unicode就是世界各国合作开发的一种语言。
& c0 {; d3 `- d6 ]6 f: @; k3 t7 }' g i8 h
在这种语言环境下，不会再有语言的编码冲突，在同屏下，可以显示任何语言的内容，这就是Unicode的最大好处。那么Unicode是如何编码的呢? 其实非常简单。就是将世界上所有的文字用2个字节统一进行编码。可能你会问，2个字节最多能够表示65536个编码，够用吗?韩国和日本的大部分汉字都是从中国传播过去的，字型是完全一样的。 比如：“文”字，GBK和SJIS中都是同一个汉字，只是编码不同而已。那样，像这样统一编码，2个字节就已经足够容纳世界上所有的语言的大部分文字了。
: |: K9 U* Q5 r Z$ y
: }( m: v+ P- B2 Z* q, ^& L Unicode的学名是"Universal Multiple-Octet Coded Character Set"，简称为UCS。
+ e) D6 k6 j# d% P3 j; d/ ^" @0 u( ?. Y: _) _% o' ^
现在用的是UCS-2，即2个字节编码，而UCS-4是为了防止将来2个字节不够用才开发的。UCS-2也称为基本多文种平面，转换到UCS-4只是简单的在前面加2个字节0。UCS-4则主要用于保存辅助平面，例如Unicode 4.0中的第二辅助平面
, L, n* ^. ~6 e" r: H3 V8 S. B6 E! S( W1 _
20000-20FFF - 21000-21FFF - 22000-22FFF - 23000-23FFF - 24000-24FFF - 25000-25FFF - 26000-26FFF - 27000-27FFF - 28000-28FFF - 29000-29FFF - 2A000-2AFFF - 2F000-2FFFF( ]3 u* a6 { N/ Z+ A
# D2 c2 t9 [" k. K, d 总共增加了16个辅助平面，由原先的65536个编码扩展至将近100万编码。那么既然统一了编码，如何兼容原先各国的文字编码呢?这个时候就需要codepage了。
: s8 e: e, X# M& c A! ]5 P1 v) B: A$ }
什么是codepage?codepage就是各国的文字编码和Unicode之间的映射表。
! w; A- V! P' s7 s& _7 ~/ X9 K$ i# A
比如简体中文和Unicode的映射表就是CP936，点这里查看官方的映射表；以下是几个常用的codepage，相应的修改上面的地址的数字即可。
) X3 y3 ?0 ~5 V/ V: B& {. G
% T8 Q- d% }% `, @# H5 u# Z codepage=936 简体中文GBK
9 {; ]. h. X5 V( d) b3 H- ~* b$ x" E2 P+ D. |$ `
codepage=950 繁体中文BIG5
. A. I, p- G& O9 h+ o# v, w: p9 Z* d( a" ]; R( E5 e* ]
codepage=437 美国/加拿大英语9 q7 l- T6 Q9 W
, A) {# b2 T5 Z+ k; x2 z3 w3 O! z
codepage=932 日文( ] f* ^" e4 c5 T7 m
0 p0 H$ [, |* C# @1 _8 G codepage=949 韩文5 G: N6 z, {2 F
9 d6 l$ `' S- B* {4 ^8 i- `% ?; k1 i codepage=866 俄文
. a# t; `' [7 Q8 S8 ~" P5 X
. f' Q; Z: d/ W% Z! p4 Q codepage=65001 unicode UFT-8
5 G" C& {6 D+ @' L$ o; N* u8 r# v; A7 m; O- P7 r& A
最后一个65001，据个人理解，应该只是一个虚拟的映射表，实际只是一个算法而已。
' S: E2 n) V S x2 x4 [
' u( }4 r6 Q/ s2 G 从936中随意取一行，例如：( s5 Z+ T7 |1 U: ?4 t! K, F7 h
5 i+ v" I% M& @0 K& L5 G 0x9993 0x6ABD #CJK UNIFIED IDEOGRAPH& z# ^! U4 W5 ^
& u% n. w0 r6 |5 ^- ^/ S
前面的编码是GBK的编码，后面的是Unicode。通过查这张表，就能简单的实现GBK和Unicode之间的转换。+ {4 L- z$ Y8 Q; }/ N( G
- A! K, b, \5 l% ?; q6 m! d) z 现在明白了Unicode，那么UTF-8又是什么呢?又为什么会出现UTF-8呢?
h5 P7 c" D* }' y3 G
5 q3 ?' G( i0 T2 L0 r6 m2 a' x ASCII转换成UCS-2，只是在编码前插入一个0x0。用这些编码，会包括一些控制符，比如 或 /，这在UNIX和一些C函数中，将会产生严重错误。因此可以肯定，UCS-2不适合作为Unicode的外部编码。因此，才诞生了UTF-8。那么 UTF-8是如何编码的?又是如何解决UCS-2的问题呢?
( C( w" p1 ^( B: [) Z' A- a) q* K9 }1 G1 E
例：
+ A5 L" S9 A" `( u6 s
! g1 }8 z" w$ o& q E4 BD A0 11100100 10111101 10100000
7 v" o3 ?( N4 ^1 s
' t, s2 h* t; a) h 这是“你”字的UTF-8编码
2 b9 L# d4 D. y& `! R* p( k+ r0 E5 C# t/ X+ y# u4 B+ O
4F 60 01001111 01100000
. V. [9 K1 b8 B9 P' z4 X) D3 q" C
6 Y6 x3 Q& ~0 P2 R: P B9 @ 这是“你”的Unicode编码
) `; o& B- \0 H
! _ b9 E; R; A( k; V' L 按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000，把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。注意UTF-8的最前面3个1，表示整个UTF-8串是由3个字节构成的。经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。- r% r4 E- P _+ F, ?6 i# e+ G
# Y5 ]+ c$ {/ [3 X
以下是Unicode和UTF-8之间的转换关系表：) h7 g9 l% P" B3 `
( R% L' V% x6 F4 e4 R$ C
U-00000000 - U-0000007F: 0xxxxxxx
7 S7 I0 I7 g. v3 V0 g7 E$ Q2 X- z2 ^; f: i4 q8 ]9 z
U-00000080 - U-000007FF: 110xxxxx 10xxxxxx
+ q3 k. T1 u5 n7 h2 W" N: u" \: M7 N5 W; l3 z0 [
U-00000800 - U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx
`7 H1 ~! L4 f- d6 G
1 M0 c H$ M$ X }( ^ U-00010000 - U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
- y! q) ~ c" z' a7 O% {: k4 p
3 A- h2 J% C9 R! k% e U-00200000 - U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
9 K# V | R8 h; H3 [7 G7 z- T: B7 `( i8 w; m
U-04000000 - U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
- i6 n4 N5 }. G& [1 ^ b
* ~6 { W- j8 C( \# g! b Unicode编码转换到UTF-8,简单的把Unicode字节流套到x中就变成UTF-8了。 |
|
发表于 2008-1-19 23:35
| 