|
 
- UID
- 1
- 帖子
- 738
- 精华
- 28
- 积分
- 14161
- 金币
- 2371
- 威望
- 1647
- 贡献
- 1319
|
HTML语言:什么是Unicode 什么是UTF-8
Unicode和UTF-8在制作网页中对于很多人不是很了解，到底是什么样的概念希望通过本文可以让大家了解，首先说明一下现在常用的一些编码方案：6 D e3 G4 j$ L+ z, M3 F# S# b) F
+ O, H O$ \8 |' J$ T. h* U/ c1 T2 k 1、在中国，大陆最常用的就是GBK18030编码，除此之外还有GBK，GB2312，这几个编码的关系是这样的。
/ Y2 A' y4 A$ h3 T: h0 F0 J2 l; n$ Y& E6 ]% H/ q/ x* y
最早制定的汉字编码是GB2312，包括6763个汉字和682个其它符号；95年重新修订了编码，命名GBK1.0，共收录了21886个符号。之后又推出了GBK18030编码，共收录了27484个汉字，同时还收录了藏文、蒙文、维吾尔文等主要的少数民族文字，现在WINDOWS平台必需要支持 GBK18030编码。按照GBK18030、GBK、GB2312的顺序，3种编码是向下兼容，同一个汉字在三个编码方案中是相同的编码。( j' d1 G- f: R3 m
$ u; e* l2 K( M2 {* L( A
2、台湾，香港等地使用的是BIG5编码- a5 b! @& N! w8 F6 m) q# K( T
! X5 w5 Q2 k' w0 S: b" f/ p 3、日本：SJIS编码
, Q% S! L9 j2 K1 M1 \/ v5 R, O. e2 V
如果把各种文字编码形容为各地的方言，那么Unicode就是世界各国合作开发的一种语言。4 m. w# W+ Z7 }0 @& D7 L8 Z4 Y
# u) m/ K: R1 [; p7 _ 在这种语言环境下，不会再有语言的编码冲突，在同屏下，可以显示任何语言的内容，这就是Unicode的最大好处。那么Unicode是如何编码的呢? 其实非常简单。就是将世界上所有的文字用2个字节统一进行编码。可能你会问，2个字节最多能够表示65536个编码，够用吗?韩国和日本的大部分汉字都是从中国传播过去的，字型是完全一样的。 比如：“文”字，GBK和SJIS中都是同一个汉字，只是编码不同而已。那样，像这样统一编码，2个字节就已经足够容纳世界上所有的语言的大部分文字了。
& {: n# t( M0 Q: w. k' e, g4 {" `; Q6 |, Y: ?4 t; S" C" X- ?
Unicode的学名是"Universal Multiple-Octet Coded Character Set"，简称为UCS。" i% F! n4 Z4 p2 Y* S
! t. b6 K0 R: [' q5 i: C6 [
现在用的是UCS-2，即2个字节编码，而UCS-4是为了防止将来2个字节不够用才开发的。UCS-2也称为基本多文种平面，转换到UCS-4只是简单的在前面加2个字节0。UCS-4则主要用于保存辅助平面，例如Unicode 4.0中的第二辅助平面
, |5 K# g T; z9 Y: Y
. Q$ s( B/ N3 ~/ K; q 20000-20FFF - 21000-21FFF - 22000-22FFF - 23000-23FFF - 24000-24FFF - 25000-25FFF - 26000-26FFF - 27000-27FFF - 28000-28FFF - 29000-29FFF - 2A000-2AFFF - 2F000-2FFFF
1 c. ?) | W, T1 I- V9 J, w" U x/ Z9 e* j6 j
总共增加了16个辅助平面，由原先的65536个编码扩展至将近100万编码。那么既然统一了编码，如何兼容原先各国的文字编码呢?这个时候就需要codepage了。! F7 @+ |' \' U1 h1 p$ _
% o* ?, p, f* g/ U
什么是codepage?codepage就是各国的文字编码和Unicode之间的映射表。7 X0 Q8 \; p# r6 Q$ f$ N
9 U. T+ f4 t: f; W- Z 比如简体中文和Unicode的映射表就是CP936，点这里查看官方的映射表；以下是几个常用的codepage，相应的修改上面的地址的数字即可。
' s; r% v- X# G1 n1 l( X
- P9 \( k+ M* T, b5 E/ x7 o+ J codepage=936 简体中文GBK
{& T+ ~: h, c4 z8 @# z4 ~) q* J) g
codepage=950 繁体中文BIG5
# R1 x2 `6 _9 w4 D& y
. x6 [: ^: |' m+ g! E codepage=437 美国/加拿大英语& q$ ?: Q9 ^% m
* g& |; `" C3 P
codepage=932 日文5 I5 f4 X" F H2 R0 D
! V( K0 q2 u1 p2 N- H6 k codepage=949 韩文
) f; z. M) o3 O% n7 X$ `/ o' ~& X
- _+ Z- Y9 v6 O codepage=866 俄文
4 [7 V3 I7 M( a/ C' A0 b
( J8 ?8 P3 [! |( P% m$ H2 l codepage=65001 unicode UFT-8
& T' m N R& t+ F' j0 K- v. p" R# d! W; w* E/ {$ V. v, S) I* Z
最后一个65001，据个人理解，应该只是一个虚拟的映射表，实际只是一个算法而已。
6 w' }' A5 U2 @& s6 O- p" S5 \- Q- g+ @ u ]
从936中随意取一行，例如：# I' C5 A" ~& R) Z9 I8 c9 T0 X
% Y6 Y5 m+ Z( \1 z( \$ T5 W
0x9993 0x6ABD #CJK UNIFIED IDEOGRAPH2 F' E* a; }1 u/ J
$ M" }+ w4 u0 D. u( W 前面的编码是GBK的编码，后面的是Unicode。通过查这张表，就能简单的实现GBK和Unicode之间的转换。
% R! Z$ S& l1 R2 N' }+ Y F) d; m; q v- c4 f# y- F5 m! @
现在明白了Unicode，那么UTF-8又是什么呢?又为什么会出现UTF-8呢?# a/ ^4 h& h8 e" O2 ~" l
/ ?/ }3 d1 l+ \2 N
ASCII转换成UCS-2，只是在编码前插入一个0x0。用这些编码，会包括一些控制符，比如 或 /，这在UNIX和一些C函数中，将会产生严重错误。因此可以肯定，UCS-2不适合作为Unicode的外部编码。因此，才诞生了UTF-8。那么 UTF-8是如何编码的?又是如何解决UCS-2的问题呢?
* e' Z1 i! n* h* `( ~' x0 j4 j. i' a8 V
例：
" \! C. Z3 e3 l" L; h* O
* V0 Q2 ?2 u2 h* k6 O E4 BD A0 11100100 10111101 101000009 p2 v9 f" u7 b. g* \3 U, Q6 Y
/ g2 }! I- n/ t5 u- C$ v4 ^3 A& E }
这是“你”字的UTF-8编码+ B% _+ J3 d& ]" K! _6 b2 l
" U/ {* }( ]) ~6 M9 b 4F 60 01001111 01100000
! V& J% ^* z0 f, A6 |
$ y) z8 b5 ~4 T; a 这是“你”的Unicode编码
' G* W1 V" ]+ ^5 N" }
) ^8 x. L! e. \$ c6 ~% ]+ { 按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000，把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。注意UTF-8的最前面3个1，表示整个UTF-8串是由3个字节构成的。经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。
) V$ J- o/ Y/ [
6 F0 r7 Q1 M B% l: v! l# U 以下是Unicode和UTF-8之间的转换关系表：" V- l- `6 ^6 D7 [4 {
# ^8 d) b& _2 b- U y. t U-00000000 - U-0000007F: 0xxxxxxx5 s, y" F, r2 Z" x
; z+ U5 B. ^3 J3 }! H7 G5 s U-00000080 - U-000007FF: 110xxxxx 10xxxxxx" e$ C9 ]! e" j" K5 f- o
5 `. x8 U/ l4 I3 Q. l( [ U-00000800 - U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx9 ^$ r; Q9 y& |
9 U; s0 b. |/ D. u7 j" f' ^5 g U-00010000 - U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx; a5 A+ V* y3 o3 o) q/ M! ^
" |: v+ P" k0 J7 I4 s& a
U-00200000 - U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
4 X% a; ^, F- R* e! `
' K/ t* l' E/ [8 F U-04000000 - U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
1 l4 W+ j; J" a
& H/ R0 ]5 {- S; T/ g9 W7 t, u Unicode编码转换到UTF-8,简单的把Unicode字节流套到x中就变成UTF-8了。 |
|
发表于 2008-1-19 23:35
| 