返回列表 发帖

HTML语言:什么是Unicode 什么是UTF-8

Unicode和UTF-8在制作网页中对于很多人不是很了解,到底是什么样的概念希望通过本文可以让大家了解,首先说明一下现在常用的一些编码方案:
3 y% F1 m: w* J" C
9 r! q6 n& J1 i8 k& i8 s  1、在中国,大陆最常用的就是GBK18030编码,除此之外还有GBK,GB2312,这几个编码的关系是这样的。4 h  c: @3 a6 S& o, v1 J# S# q! N" ~
4 [' U! a1 Q1 e" b; |- x1 L5 b
  最早制定的汉字编码是GB2312,包括6763个汉字和682个其它符号;95年重新修订了编码,命名GBK1.0,共收录了21886个符号。之后又推出了GBK18030编码,共收录了27484个汉字,同时还收录了藏文、蒙文、维吾尔文等主要的少数民族文字,现在WINDOWS平台必需要支持 GBK18030编码。按照GBK18030、GBK、GB2312的顺序,3种编码是向下兼容,同一个汉字在三个编码方案中是相同的编码。5 L4 J% z! ^7 Q  @5 b+ y( s
( p# |# g8 H: v' T' `6 M
  2、台湾,香港等地使用的是BIG5编码( i- I. p1 @' _1 v
9 J) @) p+ O0 W3 M
  3、日本:SJIS编码& D& [& R( P( T" t9 p
$ p6 y5 _8 r4 j, n+ n! g
  如果把各种文字编码形容为各地的方言,那么Unicode就是世界各国合作开发的一种语言。
# [# F! V: q2 ^6 f/ m
) x2 ~- l5 O: c* d" ~  在这种语言环境下,不会再有语言的编码冲突,在同屏下,可以显示任何语言的内容,这就是Unicode的最大好处。那么Unicode是如何编码的呢? 其实非常简单。就是将世界上所有的文字用2个字节统一进行编码。可能你会问,2个字节最多能够表示65536个编码,够用吗?韩国和日本的大部分汉字都是从中国传播过去的,字型是完全一样的。  比如:“文”字,GBK和SJIS中都是同一个汉字,只是编码不同而已。那样,像这样统一编码,2个字节就已经足够容纳世界上所有的语言的大部分文字了。5 [  i: j7 q, ?. @! X  v3 h8 j+ [
1 ~7 @9 [% H' R
  Unicode的学名是"Universal Multiple-Octet Coded Character Set",简称为UCS。* L, M- j* K2 E# }* v1 ?

6 b- T7 F) y  ]+ u/ q. y  现在用的是UCS-2,即2个字节编码,而UCS-4是为了防止将来2个字节不够用才开发的。UCS-2也称为基本多文种平面,转换到UCS-4只是简单的在前面加2个字节0。UCS-4则主要用于保存辅助平面,例如Unicode 4.0中的第二辅助平面
7 t, r# g( j( _9 |" C
, E# K$ }$ B2 Q; E5 P* d  20000-20FFF - 21000-21FFF - 22000-22FFF - 23000-23FFF - 24000-24FFF - 25000-25FFF -   26000-26FFF - 27000-27FFF - 28000-28FFF - 29000-29FFF - 2A000-2AFFF - 2F000-2FFFF
. }- }2 ?4 Y, e
+ B8 z7 ^* _6 V  总共增加了16个辅助平面,由原先的65536个编码扩展至将近100万编码。那么既然统一了编码,如何兼容原先各国的文字编码呢?这个时候就需要codepage了。* H# h! p7 A& r, G! S7 |0 h

2 G9 z1 C2 X% t5 w. e  什么是codepage?codepage就是各国的文字编码和Unicode之间的映射表。2 w( X+ `! ~; w& O# l% {
8 I- S3 ^: f7 q/ w+ _
  比如简体中文和Unicode的映射表就是CP936,点这里查看官方的映射表;以下是几个常用的codepage,相应的修改上面的地址的数字即可。0 K' r1 h/ A. L7 j+ {

5 D, V6 [! Q. g: A  codepage=936 简体中文GBK
; I0 m" W* X# p9 j  {2 u
1 ^& K* p# [- l5 d* ~3 ^  codepage=950 繁体中文BIG5
3 l5 x' D9 R' b% Y/ I
; Z4 y7 s( O8 N: A1 x' z  codepage=437 美国/加拿大英语
% v/ A+ K8 x; E' `+ ^3 g5 }
) f1 D$ D+ j" I" i  codepage=932 日文' Y2 J! G6 W4 D! e  T9 I' t5 P

& e! n% Y' I! r4 g& J& m/ d2 A, ~6 y  codepage=949 韩文$ X& N$ |8 d6 j9 _! A( _

; K/ {; D  C$ ]9 q, ?5 M2 l  codepage=866 俄文
2 z; k' I8 [1 t9 K9 M2 z/ u( T, z& r$ Y* {* b) t
  codepage=65001 unicode UFT-8" Q9 W8 G! s( N; [
. ]6 Y1 I% ]/ L; a$ h* b
  最后一个65001,据个人理解,应该只是一个虚拟的映射表,实际只是一个算法而已。. ?# c0 Y0 B/ B8 \
, e6 k' P& s2 a  C
  从936中随意取一行,例如:$ C9 D$ ?5 \& |4 a$ G# V
8 L, [3 F2 E0 S# B! K! G! M) f
  0x9993 0x6ABD #CJK UNIFIED IDEOGRAPH9 X+ B0 d5 p3 t) q, V
* t. n8 f0 r( R
  前面的编码是GBK的编码,后面的是Unicode。通过查这张表,就能简单的实现GBK和Unicode之间的转换。
6 f6 G: n& M1 ?2 N- Q! E4 J" G
' [, V6 X; P' f8 e: ?4 {  现在明白了Unicode,那么UTF-8又是什么呢?又为什么会出现UTF-8呢?) V7 z; r2 W8 N9 w" h

( o* O6 X. d6 ?8 D5 t% U! [  ASCII转换成UCS-2,只是在编码前插入一个0x0。用这些编码,会包括一些控制符,比如 或 /,这在UNIX和一些C函数中,将会产生严重错误。因此可以肯定,UCS-2不适合作为Unicode的外部编码。因此,才诞生了UTF-8。那么 UTF-8是如何编码的?又是如何解决UCS-2的问题呢?
) x1 d2 K* L4 P! K+ {6 r+ U
6 ?$ g1 H6 y4 n  L8 |  例:
1 J2 A9 e/ t7 W# G
9 m5 t" c# I. b1 b% q( }  E4 BD A0        11100100 10111101 10100000
& G" Z- X+ ?( O" P4 Z2 \' t
  n2 d: E/ A; i+ R  这是“你”字的UTF-8编码
9 t' F6 k* ]+ j0 Y/ H; U/ K6 m1 {- R
4 V3 [& y" c& T6 g# l) ?  R  4F 60          01001111 011000009 J8 `8 P6 e2 ?, o" v+ j/ Y4 G
- k: ]2 E4 \6 w
  这是“你”的Unicode编码
/ I% d" [7 Q( `/ ~
: J* m' F. m& g: u  按照UTF-8的编码规则,分解如下:xxxx0100 xx111101 xx100000,把除了x之外的数字拼接在一起,就变成“你”的Unicode编码了。注意UTF-8的最前面3个1,表示整个UTF-8串是由3个字节构成的。经过UTF-8编码之后,再也不会出现敏感字符了,因为最高位始终为1。1 Z" O' D8 d5 k4 j
) W! Y+ Y. F2 E. i& `  h
  以下是Unicode和UTF-8之间的转换关系表:
" \. D7 L' M* \: u
0 t) V* r- t; P  U-00000000 - U-0000007F: 0xxxxxxx7 `6 T2 A3 a0 s" t2 @, k! E

) B5 y% x7 f" n' [- N( C# B8 h  U-00000080 - U-000007FF: 110xxxxx 10xxxxxx0 c& w1 `3 W5 C: z% E

9 c1 R4 h' H8 p8 n5 A  U-00000800 - U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx
' f0 B! P# E: {  ^# l2 W6 X( `. Y" o4 L
  U-00010000 - U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
% E/ N' q. e9 d* m% _, C; W/ m2 {
! L6 [. Z! O* y  U-00200000 - U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx  m+ V, B+ m  w

+ [6 V  M; `; Y" @1 t  U-04000000 - U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
3 `0 I) h  D9 _3 l' e3 x- l/ T6 s& ^, a4 ?9 v' ?# n) e1 Y& g
  Unicode编码转换到UTF-8,简单的把Unicode字节流套到x中就变成UTF-8了。

返回列表
【捌玖网络】已经运行: