現(xiàn)分詞、詞性標(biāo)注與詞形還原的完整指南)
深入 nlprule TokenizerPython 中實(shí)現(xiàn)分詞、詞性標(biāo)注與詞形還原的完整指南【免費(fèi)下載鏈接】nlpruleA fast, low-resource Natural Language Processing and Text Correction library written in Rust.項(xiàng)目地址: https://gitcode.com/gh_mirrors/nl/nlprulenlprule 是一款用 Rust 編寫的高性能、低資源自然語(yǔ)言處理與文本糾錯(cuò)庫(kù)而它的 Tokenizer分詞器正是整個(gè)文本處理管線的核心。本文將為 Python 開發(fā)者提供一份完整指南帶你一步步掌握 nlprule 的分詞、詞性標(biāo)注POS tagging、詞形還原lemmatization、分句與塊分析并順帶了解它與 LanguageTool 規(guī)則庫(kù)的關(guān)系。為什么選擇 nlprule 做中文 NLP 預(yù)處理在開始動(dòng)手之前先明確 nlprule Tokenizer 能為你解決什么問(wèn)題能力說(shuō)明適用場(chǎng)景分句Sentencization基于 SRX 規(guī)則切分句子能正確處理 e.g.、U.K. 等縮寫文本預(yù)處理、翻譯、摘要分詞Tokenization按空白與標(biāo)點(diǎn)切分詞元支持多詞合并詞頻統(tǒng)計(jì)、特征提取詞性標(biāo)注POS Tagging基于詞典與規(guī)則給每個(gè)詞標(biāo)注詞性語(yǔ)法分析、實(shí)體識(shí)別詞形還原Lemmatization把 shown 還原為 show、is 還原為 be檢索、去重、情感分析塊分析Chunking標(biāo)注名詞短語(yǔ)、動(dòng)詞短語(yǔ)及其語(yǔ)法格依存解析、信息抽取規(guī)則消歧Disambiguation數(shù)千條規(guī)則修正初始標(biāo)注提高下游任務(wù)準(zhǔn)確率相比動(dòng)輒數(shù)百 MB 的深度學(xué)習(xí)模型nlprule 采用規(guī)則 詞典查找的經(jīng)典路線內(nèi)存占用極低、速度極快特別適合作為 ML 方案的前置或后置處理步驟?？焖侔惭b與第一個(gè)分詞示例 ?安裝只需要一條命令Tokenizer 的首次加載會(huì)自動(dòng)從網(wǎng)絡(luò)獲取語(yǔ)言資源并緩存到本地pip install nlprule然后在 Python 中加載英文 Tokenizerfrom nlprule import Tokenizer tokenizer Tokenizer.load(en)你可以通過(guò) python/src/lib.rs 查看Tokenizer的 Python 綁定源碼它底層封裝了 Rust 核心實(shí)現(xiàn)加載的是tokenizer.bin.gz二進(jìn)制資源。一行代碼看懂分詞輸出text、span、tags、lemmas 使用pipe方法即可對(duì)整個(gè)文本執(zhí)行完整流水線。每個(gè) Token 都攜帶文本、字符位置、詞性標(biāo)簽、詞形還原結(jié)果和塊信息for sentence in tokenizer.pipe(A brief example is shown.): for token in sentence: print( repr(token.text).ljust(10), repr(token.span).ljust(10), repr(token.tags).ljust(24), repr(token.lemmas).ljust(24), repr(token.chunks).ljust(24), )輸出結(jié)果非常直觀A (0, 1) [DT] [A, a] [B-NP-singular] brief (2, 7) [JJ] [brief] [I-NP-singular] example (8, 15) [NN:UN] [example] [E-NP-singular] is (16, 18) [VBZ] [be, is] [B-VP] shown (19, 24) [VBN] [show, shown] [I-VP] . (24, 25) [., PCT, SENT_END] [.] [O]可以看到tagsDT限定詞、JJ形容詞、VBZ第三人稱單數(shù)動(dòng)詞、VBN過(guò)去分詞等句子開頭與結(jié)尾還有特殊的SENT_START/SENT_END標(biāo)記。lemmasis還原為beshown還原為show這就是詞形還原的核心價(jià)值。chunksB-NP-singular名詞短語(yǔ)開始到E-NP-singular名詞短語(yǔ)結(jié)束B-VP/I-VP標(biāo)記動(dòng)詞短語(yǔ)O表示其他。這些字段的完整定義位于 python/src/lib.rs對(duì)應(yīng) Rust 側(cè)的 Token 結(jié)構(gòu)。深入流水線分詞器內(nèi)部到底做了什么nlprule 的完整文本處理流水線包含四個(gè)階段理解它對(duì)你調(diào)優(yōu)下游任務(wù)非常有幫助。核心實(shí)現(xiàn)在 nlprule/src/tokenizer.rs第一步分句Sentencization基于 SRX 規(guī)則將長(zhǎng)文本切成句子。關(guān)鍵特性是前導(dǎo)空白始終保留且句子之間沒(méi)有間隙便于還原字符偏移。e.g. U.K. and Mr. do not split.這種包含縮寫的句子也不會(huì)被錯(cuò)誤切斷參見 python/test.py 中的測(cè)試用例。第二步分詞Tokenization先按空白和標(biāo)點(diǎn)切分如果詞不在詞典中還會(huì)用額外的語(yǔ)言字符如連字符-再次切分同時(shí)通過(guò)extra_join_regexes把某些本應(yīng)合并的多詞multiword重新粘合。切分邏輯見 nlprule/src/tokenizer.rs。第三步詞典標(biāo)注Tagging Lemmatization每個(gè)詞在 Tagger 的雙向映射表中查找一次得到所有可能的詞形還原 詞性組合。詞性標(biāo)簽被編碼為 16 位 ID詞被編碼為 32 位 ID配合 FST有限狀態(tài)轉(zhuǎn)換器實(shí)現(xiàn)超快查找。詞典數(shù)據(jù)形如actualize actualize VB actualized actualize VBD actualizes actualize VBZ actually actually RB即單詞 → 詞形還原 詞性的映射見 nlprule/src/tokenizer/tag.rs。對(duì)于德語(yǔ)等復(fù)合詞語(yǔ)言還內(nèi)置了復(fù)合詞切分啟發(fā)式算法見同文件的use_compound_split_heuristic。第四步消歧與塊分析Disambiguation Chunking初始標(biāo)注可能有多義例如is同時(shí)有be和is兩個(gè)詞形還原候選。此時(shí)數(shù)千條消歧規(guī)則來(lái)自 LanguageTool 資源會(huì)基于上下文修正標(biāo)注見 nlprule/src/tokenizer.rs 的disambiguate實(shí)現(xiàn)。塊分析則由移植自 OpenNLP 的統(tǒng)計(jì)模型完成見 nlprule/src/tokenizer/chunk.rs。進(jìn)階技巧直接查詢 Tagger 詞典 除了完整流水線你還可以直接訪問(wèn) Tagger 詞典查看某個(gè)詞的全部候選詞性與詞形還原tokenizer.tagger.get_data(shown) # 返回 [(show, VBN), (show, VBN)] 之類的 (lemma, POS) 列表這在做自定義規(guī)則或教學(xué)演示時(shí)非常有用接口定義見 python/src/lib.rs。結(jié)合 Rules 實(shí)現(xiàn)語(yǔ)法糾錯(cuò) ?Tokenizer 也可以獨(dú)立于語(yǔ)法規(guī)則使用但兩者結(jié)合才能發(fā)揮最大價(jià)值from nlprule import Tokenizer, Rules tokenizer Tokenizer.load(en) rules Rules.load(en, tokenizer) rules.correct(He wants that you send him an email.) # 輸出: He wants you to send him an email. for s in rules.suggest(She was not been here since Monday.): print(s.start, s.end, s.replacements, s.source, s.message)規(guī)則資源同樣來(lái)自 LanguageTool英語(yǔ)約覆蓋 85% 的語(yǔ)法規(guī)則3725 條與 100% 的消歧規(guī)則843 條而速度比 LanguageTool 快約 2 倍。完整的 API 用法可參考 README.md 與測(cè)試 python/test.py。實(shí)際應(yīng)用場(chǎng)景推薦 LLM 后處理用rules.correct清洗大模型生成文本參考 examples/correct_nlg.py 中如何結(jié)合 Transformers 管線修正 GPT-2 輸出。搜索引擎與檢索用lemmas做詞形歸一化提升召回率。校對(duì)工具與 prosemd、cargo-spellcheck 等項(xiàng)目一樣構(gòu)建 Markdown / Rust 文檔的拼寫語(yǔ)法檢查器。多語(yǔ)言支持開箱支持英語(yǔ)、德語(yǔ)西班牙語(yǔ)為實(shí)驗(yàn)性支持語(yǔ)言配置見 nlprule/configs/en/tokenizer.json?？偨Y(jié)nlprule 的 Tokenizer 用純 Rust 實(shí)現(xiàn)把分句、分詞、詞性標(biāo)注、詞形還原、塊分析和規(guī)則消歧整合成一條高速流水線Python 側(cè)僅需幾行代碼即可調(diào)用。對(duì)于追求低資源、高速度又不愿引入重型 ML 模型的中文開發(fā)者來(lái)說(shuō)它是一個(gè)不可多得的自然語(yǔ)言處理工具。如果你正在搭建文本預(yù)處理管線不妨從Tokenizer.load(en)開始感受一下規(guī)則與詞典結(jié)合的經(jīng)典魅力吧【免費(fèi)下載鏈接】nlpruleA fast, low-resource Natural Language Processing and Text Correction library written in Rust.項(xiàng)目地址: https://gitcode.com/gh_mirrors/nl/nlprule創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 深入 nlprule Tokenizer：Python 中實(shí)現(xiàn)分詞、詞性標(biāo)注與詞形還原的完整指南
深入 nlprule TokenizerPython 中實(shí)現(xiàn)分詞、詞性標(biāo)注與詞形還原的完整指南【免費(fèi)下載鏈接】nlpruleA fast, low-resource Natural Language Processing and Text Correction library written in Rust.項(xiàng)目地址: https://gitcode.com/gh_mirrors/nl/nlprulenlprule 是一款用 Rust 編寫的高性能、低資源自然語(yǔ)言處理與文本糾錯(cuò)庫(kù)而它的 Tokenizer分詞器正是整個(gè)文本處理管線的核心。本文將為 Python 開發(fā)者提供一份完整指南帶你一步步掌握 nlprule 的分詞、詞性標(biāo)注POS tagging、詞形還原lemmatization、分句與塊分析并順帶了解它與 LanguageTool 規(guī)則庫(kù)的關(guān)系。為什么選擇 nlprule 做中文 NLP 預(yù)處理在開始動(dòng)手之前先明確 nlprule Tokenizer 能為你解決什么問(wèn)題能力說(shuō)明適用場(chǎng)景分句Sentencization基于 SRX 規(guī)則切分句子能正確處理 e.g.、U.K. 等縮寫文本預(yù)處理、翻譯、摘要分詞Tokenization按空白與標(biāo)點(diǎn)切分詞元支持多詞合并詞頻統(tǒng)計(jì)、特征提取詞性標(biāo)注POS Tagging基于詞典與規(guī)則給每個(gè)詞標(biāo)注詞性語(yǔ)法分析、實(shí)體識(shí)別詞形還原Lemmatization把 shown 還原為 show、is 還原為 be檢索、去重、情感分析塊分析Chunking標(biāo)注名詞短語(yǔ)、動(dòng)詞短語(yǔ)及其語(yǔ)法格依存解析、信息抽取規(guī)則消歧Disambiguation數(shù)千條規(guī)則修正初始標(biāo)注提高下游任務(wù)準(zhǔn)確率相比動(dòng)輒數(shù)百 MB 的深度學(xué)習(xí)模型nlprule 采用規(guī)則 詞典查找的經(jīng)典路線內(nèi)存占用極低、速度極快特別適合作為 ML 方案的前置或后置處理步驟?？焖侔惭b與第一個(gè)分詞示例 ?安裝只需要一條命令Tokenizer 的首次加載會(huì)自動(dòng)從網(wǎng)絡(luò)獲取語(yǔ)言資源并緩存到本地pip install nlprule然后在 Python 中加載英文 Tokenizerfrom nlprule import Tokenizer tokenizer Tokenizer.load(en)你可以通過(guò) python/src/lib.rs 查看Tokenizer的 Python 綁定源碼它底層封裝了 Rust 核心實(shí)現(xiàn)加載的是tokenizer.bin.gz二進(jìn)制資源。一行代碼看懂分詞輸出text、span、tags、lemmas 使用pipe方法即可對(duì)整個(gè)文本執(zhí)行完整流水線。每個(gè) Token 都攜帶文本、字符位置、詞性標(biāo)簽、詞形還原結(jié)果和塊信息for sentence in tokenizer.pipe(A brief example is shown.): for token in sentence: print( repr(token.text).ljust(10), repr(token.span).ljust(10), repr(token.tags).ljust(24), repr(token.lemmas).ljust(24), repr(token.chunks).ljust(24), )輸出結(jié)果非常直觀A (0, 1) [DT] [A, a] [B-NP-singular] brief (2, 7) [JJ] [brief] [I-NP-singular] example (8, 15) [NN:UN] [example] [E-NP-singular] is (16, 18) [VBZ] [be, is] [B-VP] shown (19, 24) [VBN] [show, shown] [I-VP] . (24, 25) [., PCT, SENT_END] [.] [O]可以看到tagsDT限定詞、JJ形容詞、VBZ第三人稱單數(shù)動(dòng)詞、VBN過(guò)去分詞等句子開頭與結(jié)尾還有特殊的SENT_START/SENT_END標(biāo)記。lemmasis還原為beshown還原為show這就是詞形還原的核心價(jià)值。chunksB-NP-singular名詞短語(yǔ)開始到E-NP-singular名詞短語(yǔ)結(jié)束B-VP/I-VP標(biāo)記動(dòng)詞短語(yǔ)O表示其他。這些字段的完整定義位于 python/src/lib.rs對(duì)應(yīng) Rust 側(cè)的 Token 結(jié)構(gòu)。深入流水線分詞器內(nèi)部到底做了什么nlprule 的完整文本處理流水線包含四個(gè)階段理解它對(duì)你調(diào)優(yōu)下游任務(wù)非常有幫助。核心實(shí)現(xiàn)在 nlprule/src/tokenizer.rs第一步分句Sentencization基于 SRX 規(guī)則將長(zhǎng)文本切成句子。關(guān)鍵特性是前導(dǎo)空白始終保留且句子之間沒(méi)有間隙便于還原字符偏移。e.g. U.K. and Mr. do not split.這種包含縮寫的句子也不會(huì)被錯(cuò)誤切斷參見 python/test.py 中的測(cè)試用例。第二步分詞Tokenization先按空白和標(biāo)點(diǎn)切分如果詞不在詞典中還會(huì)用額外的語(yǔ)言字符如連字符-再次切分同時(shí)通過(guò)extra_join_regexes把某些本應(yīng)合并的多詞multiword重新粘合。切分邏輯見 nlprule/src/tokenizer.rs。第三步詞典標(biāo)注Tagging Lemmatization每個(gè)詞在 Tagger 的雙向映射表中查找一次得到所有可能的詞形還原 詞性組合。詞性標(biāo)簽被編碼為 16 位 ID詞被編碼為 32 位 ID配合 FST有限狀態(tài)轉(zhuǎn)換器實(shí)現(xiàn)超快查找。詞典數(shù)據(jù)形如actualize actualize VB actualized actualize VBD actualizes actualize VBZ actually actually RB即單詞 → 詞形還原 詞性的映射見 nlprule/src/tokenizer/tag.rs。對(duì)于德語(yǔ)等復(fù)合詞語(yǔ)言還內(nèi)置了復(fù)合詞切分啟發(fā)式算法見同文件的use_compound_split_heuristic。第四步消歧與塊分析Disambiguation Chunking初始標(biāo)注可能有多義例如is同時(shí)有be和is兩個(gè)詞形還原候選。此時(shí)數(shù)千條消歧規(guī)則來(lái)自 LanguageTool 資源會(huì)基于上下文修正標(biāo)注見 nlprule/src/tokenizer.rs 的disambiguate實(shí)現(xiàn)。塊分析則由移植自 OpenNLP 的統(tǒng)計(jì)模型完成見 nlprule/src/tokenizer/chunk.rs。進(jìn)階技巧直接查詢 Tagger 詞典 除了完整流水線你還可以直接訪問(wèn) Tagger 詞典查看某個(gè)詞的全部候選詞性與詞形還原tokenizer.tagger.get_data(shown) # 返回 [(show, VBN), (show, VBN)] 之類的 (lemma, POS) 列表這在做自定義規(guī)則或教學(xué)演示時(shí)非常有用接口定義見 python/src/lib.rs。結(jié)合 Rules 實(shí)現(xiàn)語(yǔ)法糾錯(cuò) ?Tokenizer 也可以獨(dú)立于語(yǔ)法規(guī)則使用但兩者結(jié)合才能發(fā)揮最大價(jià)值from nlprule import Tokenizer, Rules tokenizer Tokenizer.load(en) rules Rules.load(en, tokenizer) rules.correct(He wants that you send him an email.) # 輸出: He wants you to send him an email. for s in rules.suggest(She was not been here since Monday.): print(s.start, s.end, s.replacements, s.source, s.message)規(guī)則資源同樣來(lái)自 LanguageTool英語(yǔ)約覆蓋 85% 的語(yǔ)法規(guī)則3725 條與 100% 的消歧規(guī)則843 條而速度比 LanguageTool 快約 2 倍。完整的 API 用法可參考 README.md 與測(cè)試 python/test.py。實(shí)際應(yīng)用場(chǎng)景推薦 LLM 后處理用rules.correct清洗大模型生成文本參考 examples/correct_nlg.py 中如何結(jié)合 Transformers 管線修正 GPT-2 輸出。搜索引擎與檢索用lemmas做詞形歸一化提升召回率。校對(duì)工具與 prosemd、cargo-spellcheck 等項(xiàng)目一樣構(gòu)建 Markdown / Rust 文檔的拼寫語(yǔ)法檢查器。多語(yǔ)言支持開箱支持英語(yǔ)、德語(yǔ)西班牙語(yǔ)為實(shí)驗(yàn)性支持語(yǔ)言配置見 nlprule/configs/en/tokenizer.json?？偨Y(jié)nlprule 的 Tokenizer 用純 Rust 實(shí)現(xiàn)把分句、分詞、詞性標(biāo)注、詞形還原、塊分析和規(guī)則消歧整合成一條高速流水線Python 側(cè)僅需幾行代碼即可調(diào)用。對(duì)于追求低資源、高速度又不愿引入重型 ML 模型的中文開發(fā)者來(lái)說(shuō)它是一個(gè)不可多得的自然語(yǔ)言處理工具。如果你正在搭建文本預(yù)處理管線不妨從Tokenizer.load(en)開始感受一下規(guī)則與詞典結(jié)合的經(jīng)典魅力吧【免費(fèi)下載鏈接】nlpruleA fast, low-resource Natural Language Processing and Text Correction library written in Rust.項(xiàng)目地址: https://gitcode.com/gh_mirrors/nl/nlprule創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考