前言在工作中我們經(jīng)常需要文本對(duì)比場(chǎng)景對(duì)比兩份文檔、配置文件差異自動(dòng)化測(cè)試校驗(yàn)返回文本變更文本查重、模糊匹配相似度自動(dòng)找出哪里刪改、哪里新增Python 內(nèi)置強(qiáng)大的文本比對(duì)工具無需復(fù)雜算法幾行代碼即可實(shí)現(xiàn)專業(yè)級(jí)文本對(duì)比。本篇博客涵蓋精準(zhǔn)逐行對(duì)比、差異可視化、文本相似度計(jì)算、模糊匹配全部可直接運(yùn)行。一、最簡(jiǎn)單對(duì)比精準(zhǔn)全等判斷適合場(chǎng)景只判斷是否一模一樣不需要看差異代碼示例a今天學(xué)習(xí)Python文本對(duì)比b今天學(xué)習(xí)Python文本對(duì)比c今天學(xué)習(xí)Python教程print(ab)# Trueprint(ac)# False業(yè)務(wù)常用忽略大小寫/空格defclean_text(s):returns.replace( ,).lower()print(clean_text(a)clean_text(c))優(yōu)點(diǎn)超快、零依賴缺點(diǎn)看不到具體哪里不一樣二、專業(yè)對(duì)比Python內(nèi)置 difflib查看詳細(xì)差異Python 自帶difflib標(biāo)準(zhǔn)庫(kù)是文本對(duì)比神器可以精準(zhǔn)輸出刪除的行新增的行修改的內(nèi)容2.1 逐行文本差異對(duì)比importdifflib text1第一行內(nèi)容 第二行內(nèi)容 第三行內(nèi)容 text2第一行內(nèi)容 第二行【已修改】 第三行內(nèi)容 第四行新增內(nèi)容 # 分割成行l(wèi)ines1text1.splitlines(keependsTrue)lines2text2.splitlines(keependsTrue)diffdifflib.Differ()resultdiff.compare(lines1,lines2)print(.join(list(result)))輸出標(biāo)識(shí)說明-舊文本存在、新文本刪除新文本新增內(nèi)容無符號(hào)內(nèi)容一致三、生成可視化對(duì)比網(wǎng)頁(yè)超實(shí)用difflib可以一鍵生成HTML對(duì)比頁(yè)面帶顏色高亮可直接瀏覽器打開。importdifflib text11、Python基礎(chǔ) 2、Python爬蟲 text21、Python基礎(chǔ) 2、Python數(shù)據(jù)分析 3、Python人工智能 diffdifflib.HtmlDiff()htmldiff.make_file(text1.splitlines(),text2.splitlines(),fromdesc舊文本,todesc新文本)withopen(diff.html,w,encodingutf-8)asf:f.write(html)print(對(duì)比網(wǎng)頁(yè)已生成)運(yùn)行后打開diff.html即可看到紅色刪除內(nèi)容綠色新增內(nèi)容左右分欄對(duì)比非常適合工作匯報(bào)、自動(dòng)化測(cè)試報(bào)告。四、文本相似度對(duì)比查重、模糊匹配很多場(chǎng)景不是判相等而是判相似度例如文章查重、語(yǔ)句匹配。代碼實(shí)現(xiàn)importdifflib s1Python文本對(duì)比教程s2Python文本比對(duì)教程s3Java開發(fā)教程m1difflib.SequenceMatcher(None,s1,s2)m2difflib.SequenceMatcher(None,s1,s3)print(s1-s2 相似度,round(m1.ratio(),2))print(s1-s3 相似度,round(m2.ratio(),2))輸出s1-s2 相似度 0.92 s1-s3 相似度 0.15可以結(jié)合閾值實(shí)現(xiàn)智能查重相似度0.8判定為高度相似相似度0.3判定為完全不同五、高級(jí)模糊匹配fuzzywuzzy原生庫(kù)精度有限工業(yè)級(jí)模糊匹配推薦fuzzywuzzy安裝pipinstallfuzzywuzzy python-Levenshtein代碼fromfuzzywuzzyimportfuzz a我喜歡Python文本對(duì)比b我非常喜歡Python文本對(duì)比技術(shù)print(fuzz.ratio(a,b))# 整體相似度print(fuzz.partial_ratio(a,b))# 局部匹配print(fuzz.token_sort_ratio(a,b))# 無序詞語(yǔ)匹配適合短句對(duì)比、文案查重、OCR文本比對(duì)、搜索匹配。六、各種對(duì)比方案選型總結(jié)方案特點(diǎn)適用場(chǎng)景字符串 極速精準(zhǔn)簡(jiǎn)單一致校驗(yàn)difflib.Differ查看行差異文檔/代碼對(duì)比difflib.HTML可視化對(duì)比生成對(duì)比報(bào)告SequenceMatcher相似度打分簡(jiǎn)單查重fuzzywuzzy超強(qiáng)模糊匹配文案、短句查重匹配總結(jié)精準(zhǔn)一致判斷直接用需要看差異、改了哪里用內(nèi)置difflib需要可視化報(bào)告用 HtmlDiff 生成網(wǎng)頁(yè)查重、模糊匹配用 SequenceMatcher / fuzzywuzzyPython 文本對(duì)比完全可以零算法基礎(chǔ)實(shí)現(xiàn)覆蓋 99% 工作場(chǎng)景。