新聞中心
本文我們來用 TensorFlow 來實現(xiàn)一個深度學(xué)習(xí)模型,用來實現(xiàn)驗證碼識別的過程,這里識別的驗證碼是圖形驗證碼,首先我們會用標(biāo)注好的數(shù)據(jù)來訓(xùn)練一個模型,然后再用模型來實現(xiàn)這個驗證碼的識別。
目前創(chuàng)新互聯(lián)公司已為上千的企業(yè)提供了網(wǎng)站建設(shè)、域名、雅安服務(wù)器托管、綿陽服務(wù)器托管、企業(yè)網(wǎng)站設(shè)計、臨猗網(wǎng)站維護(hù)等服務(wù),公司將堅持客戶導(dǎo)向、應(yīng)用為本的策略,正道將秉承"和諧、參與、激情"的文化,與客戶和合作伙伴齊心協(xié)力一起成長,共同發(fā)展。
1.驗證碼準(zhǔn)備
這里我們使用 python 的 captcha 庫來生成即可,這個庫默認(rèn)是沒有安裝的,所以這里我們需要先安裝這個庫,另外我們還需要安裝 pillow 庫
cdn.xitu.io/2019/5/27/16af775b82262772?imageView2/0/w/1280/h/960/format/webp/ignore-error/1">
安裝好之后,我們就可以用如下代碼來生成一個簡單的圖形驗證碼
可以看到圖中的文字正是我們所定義的內(nèi)容,這樣我們就可以得到一張圖片和其對應(yīng)的真實文本,接下來我們就可以用它來生成一批訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)了。
2.預(yù)處理
在訓(xùn)練之前肯定是要進(jìn)行數(shù)據(jù)預(yù)處理了,現(xiàn)在我們首先定義好了要生成的驗證碼文本內(nèi)容,這就相當(dāng)于已經(jīng)有了 label 了,然后我們再用它來生成驗證碼,就可以得到輸入數(shù)據(jù) x 了,在這里我們首先定義好我們的輸入詞表,由于大小寫字母加數(shù)字的詞表比較龐大,設(shè)想我們用含有大小寫字母和數(shù)字的驗證碼,一個驗證碼四個字符,那么一共可能的組合是 (26 + 26 + 10) ^ 4 = 14776336 種組合,這個數(shù)量訓(xùn)練起來有點大,所以這里我們精簡一下,只使用純數(shù)字的驗證碼來訓(xùn)練,這樣其組合個數(shù)就變?yōu)?10 ^ 4 = 10000 種,顯然少了很多。
所以在這里我們先定義一個詞表和其長度變量:
這里 VOCAB 就是詞表的內(nèi)容,即 0 到 9 這 10 個數(shù)字,驗證碼的字符個數(shù)即 CAPTCHA_LENGTH 是 4,詞表長度是 VOCAB 的長度,即 10。
接下來我們定義一個生成驗證碼數(shù)據(jù)的方法,流程類似上文,只不過這里我們將返回的數(shù)據(jù)轉(zhuǎn)為了 Numpy 形式的數(shù)組:
這樣調(diào)用此方法,我們就可以得到一個 Numpy 數(shù)組了,這個其實是把驗證碼轉(zhuǎn)化成了每個像素的 RGB,我們調(diào)用一下這個方法試試:
內(nèi)容如下:
可以看到它的 shape 是 (60, 160, 3),這其實代表驗證碼圖片的高度是 60,寬度是 160,是 60 x 160 像素的驗證碼,每個像素都有 RGB 值,所以最后一維即為像素的 RGB 值。
接下來我們需要定義 label,由于我們需要使用深度學(xué)習(xí)模型進(jìn)行訓(xùn)練,所以這里我們的 label 數(shù)據(jù)最好使用 One-Hot 編碼,即如果驗證碼文本是 1234,那么應(yīng)該詞表索引位置置 1,總共的長度是 40,我們用程序?qū)崿F(xiàn)一下 One-Hot 編碼和文本的互相轉(zhuǎn)換:
這里 text2vec() 方法就是將真實文本轉(zhuǎn)化為 One-Hot 編碼,vec2text() 方法就是將 One-Hot 編碼轉(zhuǎn)回真實文本。
例如這里調(diào)用一下這兩個方法,我們將 1234 文本轉(zhuǎn)換為 One-Hot 編碼,然后在將其轉(zhuǎn)回來:
這樣我們就可以實現(xiàn)文本到 One-Hot 編碼的互轉(zhuǎn)了。
接下來我們就可以構(gòu)造一批數(shù)據(jù)了,x 數(shù)據(jù)就是驗證碼的 Numpy 數(shù)組,y 數(shù)據(jù)就是驗證碼的文本的 One-Hot 編碼,生成內(nèi)容如下:
這里我們定義了一個 getrandomtext() 方法,可以隨機生成驗證碼文本,然后接下來再利用這個隨機生成的文本來產(chǎn)生對應(yīng)的 x、y 數(shù)據(jù),然后我們再將數(shù)據(jù)寫入到 pickle 文件里,這樣就完成了預(yù)處理的操作。
3.構(gòu)建模型
有了數(shù)據(jù)之后,我們就開始構(gòu)建模型吧,這里我們還是利用 traintestsplit() 方法將數(shù)據(jù)分為三部分,訓(xùn)練集、開發(fā)集、驗證集:
接下來我們使用者三個數(shù)據(jù)集構(gòu)建三個 Dataset 對象:
然后初始化一個迭代器,并綁定到這個數(shù)據(jù)集上:
接下來就是關(guān)鍵的部分了,在這里我們使用三層卷積和兩層全連接網(wǎng)絡(luò)進(jìn)行構(gòu)造,在這里為了簡化寫法,直接使用 TensorFlow 的 layers 模塊:
這里卷積核大小為 3,padding 使用 SAME 模式,激活函數(shù)使用 relu。
經(jīng)過全連接網(wǎng)絡(luò)變換之后,y 的 shape 就變成了 [batchsize, nclasses],我們的 label 是 CAPTCHALENGTH 個 One-Hot 向量拼合而成的,在這里我們想使用交叉熵來計算,但是交叉熵計算的時候,label 參數(shù)向量最后一維各個元素之和必須為 1,不然計算梯度的時候會出現(xiàn)問題。詳情參見 TensorFlow 的官方文檔:
https://www.tensorflow.org/apidocs/python/tf/nn/softmaxcrossentropywithlogits
但是現(xiàn)在的 label 參數(shù)是 CAPTCHALENGTH 個 One-Hot 向量拼合而成,所以這里各個元素之和為 CAPTCHALENGTH,所以我們需要重新 reshape 一下,確保最后一維各個元素之和為 1:
這樣我們就可以確保最后一維是 VOCAB_LENGTH 長度,而它就是一個 One-Hot 向量,所以各元素之和必定為 1。
然后 Loss 和 Accuracy 就好計算了:
再接下來執(zhí)行訓(xùn)練即可:
在這里我們首先初始化 traininitializer,將 iterator 綁定到 Train Dataset 上,然后執(zhí)行 trainop,獲得 loss、acc、gstep 等結(jié)果并輸出。
訓(xùn)練
運行訓(xùn)練過程,結(jié)果類似如下:
測試
訓(xùn)練過程我們還可以每隔幾個 Epoch 保存一下模型:
當(dāng)然也可以取驗證集上準(zhǔn)確率最高的模型進(jìn)行保存。
驗證時我們可以重新 Reload 一下模型,然后進(jìn)行驗證:
網(wǎng)站名稱:使用TensorFlow來實現(xiàn)一個簡單的驗證碼識別過程
URL分享:http://www.ef60e0e.cn/article/ghschj.html