返回列表 发帖

HTML语言:什么是Unicode 什么是UTF-8

Unicode和UTF-8在制作网页中对于很多人不是很了解,到底是什么样的概念希望通过本文可以让大家了解,首先说明一下现在常用的一些编码方案:9 C5 |1 i! R2 t" N5 [

5 B( R" d6 o, U3 ?3 k2 B  1、在中国,大陆最常用的就是GBK18030编码,除此之外还有GBK,GB2312,这几个编码的关系是这样的。
5 ^) ~; [/ l5 h. B" l! S; Z, l6 z
+ M  c! w9 q9 W  g- j  最早制定的汉字编码是GB2312,包括6763个汉字和682个其它符号;95年重新修订了编码,命名GBK1.0,共收录了21886个符号。之后又推出了GBK18030编码,共收录了27484个汉字,同时还收录了藏文、蒙文、维吾尔文等主要的少数民族文字,现在WINDOWS平台必需要支持 GBK18030编码。按照GBK18030、GBK、GB2312的顺序,3种编码是向下兼容,同一个汉字在三个编码方案中是相同的编码。' x# r2 o- t! ~

) N4 k  F" {* k4 @5 }% c; m  2、台湾,香港等地使用的是BIG5编码
# s. |: S6 G+ z( o" {7 E) G! u7 @9 i3 g: I0 B3 A% P
  3、日本:SJIS编码7 _- i6 @7 V9 f- s1 u# T9 Q( R
! f# y3 _/ O6 _* c( M+ t0 ]1 l
  如果把各种文字编码形容为各地的方言,那么Unicode就是世界各国合作开发的一种语言。
2 H: k# [7 m+ @
6 Q& p) {9 I: k8 W* L3 T  在这种语言环境下,不会再有语言的编码冲突,在同屏下,可以显示任何语言的内容,这就是Unicode的最大好处。那么Unicode是如何编码的呢? 其实非常简单。就是将世界上所有的文字用2个字节统一进行编码。可能你会问,2个字节最多能够表示65536个编码,够用吗?韩国和日本的大部分汉字都是从中国传播过去的,字型是完全一样的。  比如:“文”字,GBK和SJIS中都是同一个汉字,只是编码不同而已。那样,像这样统一编码,2个字节就已经足够容纳世界上所有的语言的大部分文字了。& Z" c4 R' f8 ]$ V
3 c3 ~7 c- d/ O, N& l3 H2 c
  Unicode的学名是"Universal Multiple-Octet Coded Character Set",简称为UCS。
7 b1 H. V3 R. f: u' z  W& v% l0 |' R1 s
  现在用的是UCS-2,即2个字节编码,而UCS-4是为了防止将来2个字节不够用才开发的。UCS-2也称为基本多文种平面,转换到UCS-4只是简单的在前面加2个字节0。UCS-4则主要用于保存辅助平面,例如Unicode 4.0中的第二辅助平面2 k  Z3 L6 e( ?, k" i/ b( F! h# L
. c5 k- z$ u4 s! G" p# N
  20000-20FFF - 21000-21FFF - 22000-22FFF - 23000-23FFF - 24000-24FFF - 25000-25FFF -   26000-26FFF - 27000-27FFF - 28000-28FFF - 29000-29FFF - 2A000-2AFFF - 2F000-2FFFF, E( v( t% c5 ~) y' X8 L
; U; A/ z% p1 M( L5 Q. v2 o
  总共增加了16个辅助平面,由原先的65536个编码扩展至将近100万编码。那么既然统一了编码,如何兼容原先各国的文字编码呢?这个时候就需要codepage了。8 q' N5 X7 @9 M+ f3 q: k
, W6 e$ U- L3 I2 ]3 q1 h
  什么是codepage?codepage就是各国的文字编码和Unicode之间的映射表。
  H% I% E+ Z* }, f+ G* B" U: K: ]; C1 P( r; d
  比如简体中文和Unicode的映射表就是CP936,点这里查看官方的映射表;以下是几个常用的codepage,相应的修改上面的地址的数字即可。
3 X3 {; Q% Q7 l. B+ G/ ?" v5 [; G* i2 s) s) Z6 G' A  |
  codepage=936 简体中文GBK
$ a& M  z+ k6 Z' I0 L7 F, S6 T
; Q8 r% L$ ~! D  codepage=950 繁体中文BIG5; N1 W' K6 d3 h0 L; v/ e
# P, ~( Y3 Z0 K. ?& b
  codepage=437 美国/加拿大英语
. U. r7 a7 y. _2 K7 _
/ ^: p( U! j& _9 E  codepage=932 日文
( I, X6 E0 A$ v, A7 d
3 X1 C& Z+ b% Y$ O4 _" o. z! N8 m  codepage=949 韩文
0 b% o" h" `. x/ F5 m8 X/ @; I/ W8 h" W1 Z; d7 o1 F
  codepage=866 俄文
% E+ K; h6 t; c; E+ F" y0 R9 K3 L( E: g- I% Z) p2 s
  codepage=65001 unicode UFT-8; |& {2 w) v+ X6 @% A

! C+ w3 |3 H6 ?7 i1 S2 q5 G, c; }  最后一个65001,据个人理解,应该只是一个虚拟的映射表,实际只是一个算法而已。
2 w: k& Q1 [. x$ b% E1 n1 q9 c8 B
; M, g& n1 `: {( ?* V  从936中随意取一行,例如:) i4 Y- W1 }9 k2 q1 \
) y' a7 i7 U" p: R6 _# U# Y; j
  0x9993 0x6ABD #CJK UNIFIED IDEOGRAPH' {; z* f9 A8 [/ M6 s0 R8 ^1 C

4 p3 j  N- ~+ U  前面的编码是GBK的编码,后面的是Unicode。通过查这张表,就能简单的实现GBK和Unicode之间的转换。
2 V/ X$ O( w) y! P( D) ~$ A! x) S5 @/ r: R
  现在明白了Unicode,那么UTF-8又是什么呢?又为什么会出现UTF-8呢?- A; |% d* \- p" {( t7 `1 ^
0 I+ Q7 T/ |2 N* d" H; |
  ASCII转换成UCS-2,只是在编码前插入一个0x0。用这些编码,会包括一些控制符,比如 或 /,这在UNIX和一些C函数中,将会产生严重错误。因此可以肯定,UCS-2不适合作为Unicode的外部编码。因此,才诞生了UTF-8。那么 UTF-8是如何编码的?又是如何解决UCS-2的问题呢?: q% m$ @$ r% `3 k
" F- D: A- x7 v6 w4 z/ G' K
  例:
. S+ T+ T. Q6 ^, }$ }: J0 J4 Y6 s2 c! V+ h3 J
  E4 BD A0        11100100 10111101 10100000
8 u& O. p  ]# m  f2 K
- d: Q) J. ?: Z  g- s! ^  这是“你”字的UTF-8编码8 ~  c- u7 J$ w2 f

" K2 B* X& U( `# ~. M, T# C  4F 60          01001111 01100000
- |; {! r- Y& B  `# J$ [1 H* `. I2 S2 j" e; ?/ ]
  这是“你”的Unicode编码. v$ v. E$ T2 p0 `# N

5 ]  W, O$ ^$ F- d: l8 m  按照UTF-8的编码规则,分解如下:xxxx0100 xx111101 xx100000,把除了x之外的数字拼接在一起,就变成“你”的Unicode编码了。注意UTF-8的最前面3个1,表示整个UTF-8串是由3个字节构成的。经过UTF-8编码之后,再也不会出现敏感字符了,因为最高位始终为1。- C9 j$ X- k9 V5 W+ P
  n& T& |! d" v3 m: J
  以下是Unicode和UTF-8之间的转换关系表:
! y% P; k9 M& |
0 H: S; i8 X/ y5 T  U-00000000 - U-0000007F: 0xxxxxxx/ `  S' y* L1 d9 e# M, F& ^
, ~/ {8 Y$ m5 S2 T$ b
  U-00000080 - U-000007FF: 110xxxxx 10xxxxxx3 l  ?) g- |. P1 n, l

4 o0 I# E$ P1 t1 |8 L  U-00000800 - U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx2 h$ A5 ^6 Q6 {, O7 P/ b

+ |8 @  e: X1 R1 J  U-00010000 - U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
$ B. q7 |3 B1 c+ o4 }; R3 x" q7 b! V
: s" J' M. r; Q& a  U-00200000 - U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
$ O/ O! r2 t* ^. e" @1 D. N8 \
% h% o8 @- i; u8 k& y. R5 L0 i  U-04000000 - U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
6 l4 L7 l1 P6 I8 _) Q" f( _0 o& N3 y7 F
  Unicode编码转换到UTF-8,简单的把Unicode字节流套到x中就变成UTF-8了。

返回列表
【捌玖网络】已经运行: