人
已閱讀
已閱讀
APP開(kāi)發(fā)時(shí)關(guān)于mysql數(shù)據(jù)庫(kù)UTF8編碼的問(wèn)題
來(lái)源:lexintech.com ?? ?? 發(fā)布時(shí)間:2019-05-17
目前在APP開(kāi)發(fā)中我們常用的數(shù)據(jù)庫(kù)是mysql,但是我們?cè)谑褂胢ysql的時(shí)候,關(guān)于utf-8編碼的問(wèn)題需要注意。MySQL 的“utf8”實(shí)際上不是真正的 UTF-8。“utf8”只支持每個(gè)字符最多三個(gè)字節(jié),而真正的 UTF-8 是每個(gè)字符最多四個(gè)字節(jié)。MySQL 一直沒(méi)有修復(fù)這個(gè) bug,他們?cè)?2010 年發(fā)布了一個(gè)叫作“utf8mb4”的字符集,繞過(guò)了這個(gè)問(wèn)題。
我們都知道,計(jì)算機(jī)使用 0 和 1 來(lái)存儲(chǔ)文本。比如字符“C”被存成“01000011”,那么計(jì)算機(jī)在顯示這個(gè)字符時(shí)需要經(jīng)過(guò)兩個(gè)步驟:
計(jì)算機(jī)讀取“01000011”,得到數(shù)字 67,因?yàn)?67 被編碼成“01000011”。
計(jì)算機(jī)在 Unicode 字符集中查找 67,找到了“C”。
同樣的:
我的電腦將“C”映射成 Unicode 字符集中的 67。
我的電腦將 67 編碼成“01000011”,并發(fā)送給 Web 服務(wù)器。
幾乎所有的網(wǎng)絡(luò)應(yīng)用都使用了 Unicode 字符集,因?yàn)闆](méi)有理由使用其他字符集。
Unicode 字符集包含了上百萬(wàn)個(gè)字符。最簡(jiǎn)單的編碼是 UTF-32,每個(gè)字符使用 32 位。這樣做最簡(jiǎn)單,因?yàn)橐恢币詠?lái),計(jì)算機(jī)將 32 位視為數(shù)字,而計(jì)算機(jī)最在行的就是處理數(shù)字。但問(wèn)題是,這樣太浪費(fèi)空間了。
UTF-8 可以節(jié)省空間,在 UTF-8 中,字符“C”只需要 8 位,一些不常用的字符,比如“”需要 32 位。其他的字符可能使用 16 位或 24 位。一篇類(lèi)似本文這樣的文章,如果使用 UTF-8 編碼,占用的空間只有 UTF-32 的四分之一左右。
為什么 MySQL 開(kāi)發(fā)者會(huì)讓“utf8”失效?我們或許可以從提交日志中尋找答案。
MySQL 從 4.1 版本開(kāi)始支持 UTF-8,也就是 2003 年,而今天使用的 UTF-8 標(biāo)準(zhǔn)(RFC 3629)是隨后才出現(xiàn)的。
舊版的 UTF-8 標(biāo)準(zhǔn)(RFC 2279)最多支持每個(gè)字符 6 個(gè)字節(jié)。2002 年 3 月 28 日,MySQL 開(kāi)發(fā)者在第一個(gè) MySQL 4.1 預(yù)覽版中使用了 RFC 2279。
2002 年,MySQL 做出了一個(gè)決定:如果用戶(hù)可以保證數(shù)據(jù)表的每一行都使用相同的字節(jié)數(shù),那么 MySQL 就可以在性能方面來(lái)一個(gè)大提升。為此,用戶(hù)需要將文本列定義為“CHAR”,每個(gè)“CHAR”列總是擁有相同數(shù)量的字符。如果插入的字符少于定義的數(shù)量,MySQL 就會(huì)在后面填充空格,如果插入的字符超過(guò)了定義的數(shù)量,后面超出部分會(huì)被截?cái)唷?/div>
MySQL 開(kāi)發(fā)者在最開(kāi)始嘗試 UTF-8 時(shí)使用了每個(gè)字符 6 個(gè)字節(jié),CHAR(1) 使用 6 個(gè)字節(jié),CHAR(2) 使用 12 個(gè)字節(jié),并以此類(lèi)推。
應(yīng)該說(shuō),他們最初的行為才是正確的,可惜這一版本一直沒(méi)有發(fā)布。但是文檔上卻這么寫(xiě)了,而且廣為流傳,所有了解 UTF-8 的人都認(rèn)同文檔里寫(xiě)的東西。
不過(guò)很顯然,MySQL 開(kāi)發(fā)者或廠商擔(dān)心會(huì)有用戶(hù)做這兩件事:
使用 CHAR 定義列(在現(xiàn)在看來(lái),CHAR 已經(jīng)是老古董了,但在那時(shí),在 MySQL 中使用 CHAR 會(huì)更快,不過(guò)從 2005 年以后就不是這樣子了)。
將 CHAR 列的編碼設(shè)置為“utf8”。
我的猜測(cè)是 MySQL 開(kāi)發(fā)者本來(lái)想幫助那些希望在空間和速度上雙贏的用戶(hù),但他們搞砸了“utf8”編碼。
所以結(jié)果就是沒(méi)有贏家。那些希望在空間和速度上雙贏的用戶(hù),當(dāng)他們?cè)谑褂?ldquo;utf8”的 CHAR 列時(shí),實(shí)際上使用的空間比預(yù)期的更大,速度也比預(yù)期的慢。而想要正確性的用戶(hù),當(dāng)他們使用“utf8”編碼時(shí),卻無(wú)法保存像“”這樣的字符。
在這個(gè)不合法的字符集發(fā)布了之后,MySQL 就無(wú)法修復(fù)它,因?yàn)檫@樣需要要求所有用戶(hù)重新構(gòu)建他們的數(shù)據(jù)庫(kù)。最終,MySQL 在 2010 年重新發(fā)布了“utf8mb4”來(lái)支持真正的 UTF-8。
所以,如果你在使用 MySQL 或 MariaDB,不要用“utf8”編碼,改用“utf8mb4”。