Python偵測生僻字的實作方法
解決思路
首先想到的就是利用 python 的正規表示式來匹配非法字符，然後找出非法記錄。然而理想總是豐滿的，現實卻是殘酷的。在實現的過程中，才發現自己對於字元編碼、以及 python 內部字串所表示的相關知識的缺乏。在這段期間，踩過了不少坑，到最後雖然還有些模糊的地方，但總算有一個整體清晰的了解。在此記錄下心得，避免日後在同一個地方跌倒。
以下的測試環境是 ArcGIS 10.3 隨附的 python 2.7.8 環境，不保證其他 python 環境也適用。
python 正規表示式
python 中的正規功能由內嵌的 re 函數庫提供，主要用到 3 個函數。 re.compile() 提供可重複使用的正規表示式，match() 和 search() 函數傳回符合結果，兩者之間的差異在於： match() 從指定位置開始匹配， search() 會從指定位置向後搜尋直到找到匹配字串。例如下面的程式碼中，match_result 從第一個字元f 開始匹配，匹配失敗返回空值；search_result 從f 開始向後搜索，直到找到第一個匹配的字元a, 然後透過group() 函數輸出匹配結果為字元a。
import re
pattern = re.compile('[abc]')
match_result = pattern.match('fabc')
if match_result:
print match_result.group()
search_result = pattern.search('fabc')
if search_result:
print search_result.group()以上的實作方式需要先編譯一個 pattern，然後再進行比對。實際上，我們可以直接利用 re.match(pattern, string) 函數來實現相同的功能。但是直接匹配的方式沒有先編譯再匹配的方式靈活，首先是正則表達式沒辦法重用，如果大量數據進行同一模式匹配，意味著每次都需要內部編譯，造成性能損失；另外，re.match () 函數沒有 pattern.match() 功能強大，後者可以指定從哪個位置開始匹配。
編碼問題
了解 python 正規的基本功能後，剩下的事情就是找到一個合適的正規表示式來匹配生僻字和非法字元。非法字元很簡單，採用以下 pattern 就可以實現匹配：
pattern = re.compile(r'[~!@#$%^&* ]')
然而對於生僻字的匹配，著實難倒了我。首先是對於生僻字的定義，什麼樣的字算生僻字？經過諮詢專案經理，規定非 GB2312 的字元屬於生僻字。接下來的問題是，如何匹配 GB2312 字元？
經過查詢，GB2312 的範圍是 [xA1-xF7][xA1-xFE] ，其中漢字區的範圍是 [xB0-xF7][xA1-xFE] 。因此，加入生僻字匹配後的表達式為：
pattern = re.compile(r'[~!@#$%^&* ]|[^\xA1-\xF7][^\xA1-\xFE]')
問題似乎是順理得當地解決了，然而我還是 too simple too naive 。由於要判斷的字串都是從圖層檔案讀取的，arcpy 貼心地將讀取的字元編碼為 unicode 格式。因此，我需要找出 GB2312 字元集在 unicode 中的編碼範圍。但現實是，GB2312 字元集在 unicode 中的分佈並不是連續的，使用正規表示這個範圍必定是非常複雜的。使用正規表示式來匹配生僻字的構想，似乎陷入了死胡同。
解決方案
既然提供的字串是 unicode 格式，那麼我可不可以將其轉換為 GB2312 再進行比對呢？實際上是不行，因為 unicode 字元集要遠大於 GB2312 字元集，因此 GB2312 => unicode 總是可以實現的，而反過來 unicode => GB2312 不一定能成功。
這突然為我提供了另外一種思路，假設一個字符串的 unicode => GB2312 轉換會失敗，那麼是不是恰恰說明了它不屬於 GB2312 字符集？所以，我使用 unicode_string.encode('GB2312') 函數嘗試轉換字串，捕獲 UnicodeEncodeError 異常來識別生僻字。
最終的程式碼如下：
import re
def is_rare_name(string):
pattern = re.compile(u"[~!@#$%^&* ]")
match = pattern.search(string)
if match:
return True
try:
string.encode("gb2312")
except UnicodeEncodeError:
return True
return False總結
以上就是這篇文章的全部內容了，希望本文的內容對大家的學習或工作能帶來一定的幫助，如果有疑問大家可以留言交流。
熱AI工具
Undresser.AI Undress
人工智慧驅動的應用程序，用於創建逼真的裸體照片
AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。
Undress AI Tool
免費脫衣圖片
Clothoff.io
AI脫衣器
Video Face Swap
使用我們完全免費的人工智慧換臉工具，輕鬆在任何影片中換臉！
熱門文章
熱工具
記事本++7.3.1
好用且免費的程式碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
強大的PHP整合開發環境
Dreamweaver CS6
視覺化網頁開發工具
SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)
PHP和Python：解釋了不同的範例
Apr 18, 2025 am 12:26 AM
PHP主要是過程式編程，但也支持面向對象編程（OOP）；Python支持多種範式，包括OOP、函數式和過程式編程。 PHP適合web開發，Python適用於多種應用，如數據分析和機器學習。
在PHP和Python之間進行選擇：指南
Apr 18, 2025 am 12:24 AM
PHP適合網頁開發和快速原型開發，Python適用於數據科學和機器學習。 1.PHP用於動態網頁開發，語法簡單，適合快速開發。 2.Python語法簡潔，適用於多領域，庫生態系統強大。
PHP和Python：深入了解他們的歷史
Apr 18, 2025 am 12:25 AM
PHP起源於1994年，由RasmusLerdorf開發，最初用於跟踪網站訪問者，逐漸演變為服務器端腳本語言，廣泛應用於網頁開發。 Python由GuidovanRossum於1980年代末開發，1991年首次發布，強調代碼可讀性和簡潔性，適用於科學計算、數據分析等領域。
Python vs. JavaScript：學習曲線和易用性
Apr 16, 2025 am 12:12 AM
Python更適合初學者，學習曲線平緩，語法簡潔；JavaScript適合前端開發，學習曲線較陡，語法靈活。 1.Python語法直觀，適用於數據科學和後端開發。 2.JavaScript靈活，廣泛用於前端和服務器端編程。
sublime怎麼運行代碼python
Apr 16, 2025 am 08:48 AM
在 Sublime Text 中運行 Python 代碼，需先安裝 Python 插件，再創建 .py 文件並編寫代碼，最後按 Ctrl B 運行代碼，輸出會在控制台中顯示。
vscode在哪寫代碼
Apr 15, 2025 pm 09:54 PM
在 Visual Studio Code（VSCode）中編寫代碼簡單易行，只需安裝 VSCode、創建項目、選擇語言、創建文件、編寫代碼、保存並運行即可。 VSCode 的優點包括跨平台、免費開源、強大功能、擴展豐富，以及輕量快速。
Golang vs. Python：性能和可伸縮性
Apr 19, 2025 am 12:18 AM
Golang在性能和可擴展性方面優於Python。 1)Golang的編譯型特性和高效並發模型使其在高並發場景下表現出色。 2)Python作為解釋型語言，執行速度較慢，但通過工具如Cython可優化性能。
visual studio code 可以用於 python 嗎
Apr 15, 2025 pm 08:18 PM
VS Code 可用於編寫 Python，並提供許多功能，使其成為開發 Python 應用程序的理想工具。它允許用戶：安裝 Python 擴展，以獲得代碼補全、語法高亮和調試等功能。使用調試器逐步跟踪代碼，查找和修復錯誤。集成 Git，進行版本控制。使用代碼格式化工具，保持代碼一致性。使用 Linting 工具，提前發現潛在問題。
