medspaCy Preprocessor/Postprocessor 雙組件完整教程快速過濾、重命名與刪除流水線中的實體【免費下載鏈接】medspacyLibrary for clinical NLP with spaCy.項目地址: https://gitcode.com/gh_mirrors/me/medspacymedspaCy Preprocessor/Postprocessor是 medspaCy 臨床 NLP 工具庫中兩個互補的核心組件Preprocessor 在文本進(jìn)入 spaCy 流水線之前執(zhí)行破壞性清洗替換、刪除文本Postprocessor 則在流水線末尾遍歷已識別的實體實現(xiàn)過濾、重命名標(biāo)簽或刪除實體。本教程用一份真實出院小結(jié)場景帶你快速掌握這兩個組件的使用方式。一、雙組件分工一張圖看懂流水線位置 組件執(zhí)行時機作用對象是否 spaCy 組件Preprocessor預(yù)處理器分詞之前原始文本字符串? 需手動接管 tokenizerPostprocessor后處理器流水線末尾doc.ents實體列表? 通過add_pipe加入一句話記憶Preprocessor 改文字Postprocessor 改實體。import medspacy nlp medspacy.load(medspacy_enable[medspacy_pyrush, medspacy_target_matcher, medspacy_sectionizer])二、Preprocessor 預(yù)處理流水線前清洗文本spaCy 默認(rèn)只允許非破壞性處理但很多臨床文本需要先動刀統(tǒng)一日期格式、展開縮寫、去掉占位符。Preprocessor就是為此設(shè)計的它包裹流水線 tokenizer在分詞前修改文本。核心用法分三步創(chuàng)建并接管 tokenizer不是add_pipefrom medspacy.preprocess import Preprocessor preprocessor Preprocessor(nlp.tokenizer) nlp.tokenizer preprocessor用PreprocessingRule定義匹配模式 → 替換文本規(guī)則from medspacy.preprocess import PreprocessingRule rules [ PreprocessingRule(r\[\*\*[\d]{4}\*\*\], repl2010, desc替換 MIMIC 年份占位符), PreprocessingRule(rdxd, replDiagnosed, desc展開縮寫), PreprocessingRule(r\[\*\*[^\]]\], desc刪除其余占位符默認(rèn)替換為空), ] preprocessor.add(rules)正常調(diào)用doc nlp(text)即可文本會先被清洗再分詞。規(guī)則四大參數(shù)pattern正則表達(dá)式定位要修改的文本repl替換文本默認(rèn)空字符串即刪除callback自定義函數(shù)可基于匹配結(jié)果做更復(fù)雜的整段刪除desc規(guī)則描述便于維護(hù) 提示callback參數(shù)非常適合按標(biāo)題刪除整個章節(jié)這類大范圍文本操作而repl只適合精確的點對點替換。實現(xiàn)源碼見 preprocessor.py 與 preprocessing_rule.py。三、Postprocessor 后處理流水線后管理實體經(jīng)過 NER 和 ConText 等組件后doc.ents中可能混入噪聲被否定的實體、無關(guān)章節(jié)的實體、標(biāo)簽錯誤的實體。Postprocessor作為流水線最后一個組件逐實體檢查條件全部通過則執(zhí)行動作。上圖medspaCy 實體可視化效果——Postprocessor 正是對這類實體做最終過濾與修正1. 三步搭建 Postprocessorfrom medspacy.postprocess import Postprocessor, PostprocessingRule, PostprocessingPattern from medspacy.postprocess import postprocessing_functions postprocessor nlp.add_pipe(medspacy_postprocessor) postprocessor.add(rules) # 加入規(guī)則2. 過濾刪除實體經(jīng)典移除患者說明章節(jié)實體患者說明patient instructions通常是假設(shè)性內(nèi)容不是患者真實經(jīng)歷應(yīng)當(dāng)剔除rules [ PostprocessingRule( patterns[ PostprocessingPattern( conditionlambda ent: ent._.section_category, success_valuepatient_instructions ), ], actionpostprocessing_functions.remove_ent, description刪除患者說明章節(jié)中的所有實體 ), ]配合visualize_ent(doc)可視化前后對比可以直觀看到被過濾掉的實體消失。3. 重命名實體詞義消歧ca 既可能是癌癥CANCER也可能是腫瘤標(biāo)志物檢查TEST用條件組合 動作模式自動改標(biāo)簽rules [ PostprocessingRule( patterns[ PostprocessingPattern(conditionlambda ent: ent.text.lower() ca), PostprocessingPattern(conditionpostprocessing_functions.sentence_contains, condition_args(lab,)), # 句子中出現(xiàn) lab ], actionpostprocessing_functions.set_label, kwargs{label: TEST} # 重命名為 TEST ), ]規(guī)則模型三層結(jié)構(gòu)與 medspaCy 其他規(guī)則組件風(fēng)格一致PostprocessingRule一組條件 一個動作全部條件通過才執(zhí)行PostprocessingPattern單個條件檢查支持傳condition_argsaction內(nèi)置或自定義函數(shù)支持kwargs傳參實現(xiàn)源碼見 postprocessor.py、postprocessing_rule.py設(shè)計說明見 README。四、內(nèi)置實用函數(shù)速查表 postprocessing_functions模塊提供開箱即用的條件與動作函數(shù)覆蓋臨床 NLP 最高頻的修正場景類型函數(shù)用途條件is_negated/is_uncertain判斷實體是否被否定/不確定修飾條件is_historical/is_hypothetical/is_family判斷歷史、假設(shè)、家屬提及條件sentence_contains/is_preceded_by/is_followed_by基于句內(nèi)文本或前后窗口詞判斷條件is_modified_by_category/is_modified_by_text檢查 ConText 修飾語動作remove_ent從doc.ents刪除實體動作set_label復(fù)制實體并改標(biāo)簽重命名動作set_negated/set_uncertain等直接修正修飾屬性高頻組合示例——刪除所有被否定實體rules [ PostprocessingRule( patterns[PostprocessingPattern(conditionpostprocessing_functions.is_negated)], actionpostprocessing_functions.remove_ent, ), ]無肺炎跡象no evidence of pneumonia中的 pneumonia 會被自動過濾只保留真實存在的陽性發(fā)現(xiàn)。五、避坑指南 ??Preprocessor 不要add_pipe它不是 spaCy 組件必須直接替換nlp.tokenizer否則流水線不生效。set_label 是復(fù)制再替換spaCy 不允許直接修改 span 標(biāo)簽該函數(shù)會創(chuàng)建新 span 并嘗試復(fù)制擴展屬性復(fù)雜屬性可能丟失建議處理后抽查。Postprocessor 建議放流水線最后若放在 NER/ConText 之前實體上還沒有修飾屬性is_negated等條件全部失效。規(guī)則順序即執(zhí)行順序同一實體會依次被各規(guī)則檢查一旦刪除立即跳過后續(xù)規(guī)則。用 debug 模式排錯add_pipe(medspacy_postprocessor, config{debug: True})可打印每個實體的規(guī)則判定日志。六、總結(jié)需求選擇關(guān)鍵 API清洗原始文本日期、縮寫、占位符PreprocessorPreprocessingRule(pattern, repl)刪除噪聲實體Postprocessorremove_ent重命名/改標(biāo)簽Postprocessorset_labelsentence_contains結(jié)合 ConText 屬性做過濾Postprocessoris_negated等條件函數(shù)完整可運行示例見官方 Notebook 08-Preprocessing-Postprocessing.ipynb配合 discharge_summary.txt 出院小結(jié)語料上手實踐。掌握Preprocessor 清洗 Postprocessor 修正這對組合拳你的 medspaCy 臨床 NLP 流水線就能輸出干凈、可信的實體結(jié)果?！久赓M下載鏈接】medspacyLibrary for clinical NLP with spaCy.項目地址: https://gitcode.com/gh_mirrors/me/medspacy創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 medspaCy Preprocessor/Postprocessor 雙組件完整教程：快速過濾、重命名與刪除流水線中的實體
medspaCy Preprocessor/Postprocessor 雙組件完整教程快速過濾、重命名與刪除流水線中的實體【免費下載鏈接】medspacyLibrary for clinical NLP with spaCy.項目地址: https://gitcode.com/gh_mirrors/me/medspacymedspaCy Preprocessor/Postprocessor是 medspaCy 臨床 NLP 工具庫中兩個互補的核心組件Preprocessor 在文本進(jìn)入 spaCy 流水線之前執(zhí)行破壞性清洗替換、刪除文本Postprocessor 則在流水線末尾遍歷已識別的實體實現(xiàn)過濾、重命名標(biāo)簽或刪除實體。本教程用一份真實出院小結(jié)場景帶你快速掌握這兩個組件的使用方式。一、雙組件分工一張圖看懂流水線位置 組件執(zhí)行時機作用對象是否 spaCy 組件Preprocessor預(yù)處理器分詞之前原始文本字符串? 需手動接管 tokenizerPostprocessor后處理器流水線末尾doc.ents實體列表? 通過add_pipe加入一句話記憶Preprocessor 改文字Postprocessor 改實體。import medspacy nlp medspacy.load(medspacy_enable[medspacy_pyrush, medspacy_target_matcher, medspacy_sectionizer])二、Preprocessor 預(yù)處理流水線前清洗文本spaCy 默認(rèn)只允許非破壞性處理但很多臨床文本需要先動刀統(tǒng)一日期格式、展開縮寫、去掉占位符。Preprocessor就是為此設(shè)計的它包裹流水線 tokenizer在分詞前修改文本。核心用法分三步創(chuàng)建并接管 tokenizer不是add_pipefrom medspacy.preprocess import Preprocessor preprocessor Preprocessor(nlp.tokenizer) nlp.tokenizer preprocessor用PreprocessingRule定義匹配模式 → 替換文本規(guī)則from medspacy.preprocess import PreprocessingRule rules [ PreprocessingRule(r\[\*\*[\d]{4}\*\*\], repl2010, desc替換 MIMIC 年份占位符), PreprocessingRule(rdxd, replDiagnosed, desc展開縮寫), PreprocessingRule(r\[\*\*[^\]]\], desc刪除其余占位符默認(rèn)替換為空), ] preprocessor.add(rules)正常調(diào)用doc nlp(text)即可文本會先被清洗再分詞。規(guī)則四大參數(shù)pattern正則表達(dá)式定位要修改的文本repl替換文本默認(rèn)空字符串即刪除callback自定義函數(shù)可基于匹配結(jié)果做更復(fù)雜的整段刪除desc規(guī)則描述便于維護(hù) 提示callback參數(shù)非常適合按標(biāo)題刪除整個章節(jié)這類大范圍文本操作而repl只適合精確的點對點替換。實現(xiàn)源碼見 preprocessor.py 與 preprocessing_rule.py。三、Postprocessor 后處理流水線后管理實體經(jīng)過 NER 和 ConText 等組件后doc.ents中可能混入噪聲被否定的實體、無關(guān)章節(jié)的實體、標(biāo)簽錯誤的實體。Postprocessor作為流水線最后一個組件逐實體檢查條件全部通過則執(zhí)行動作。上圖medspaCy 實體可視化效果——Postprocessor 正是對這類實體做最終過濾與修正1. 三步搭建 Postprocessorfrom medspacy.postprocess import Postprocessor, PostprocessingRule, PostprocessingPattern from medspacy.postprocess import postprocessing_functions postprocessor nlp.add_pipe(medspacy_postprocessor) postprocessor.add(rules) # 加入規(guī)則2. 過濾刪除實體經(jīng)典移除患者說明章節(jié)實體患者說明patient instructions通常是假設(shè)性內(nèi)容不是患者真實經(jīng)歷應(yīng)當(dāng)剔除rules [ PostprocessingRule( patterns[ PostprocessingPattern( conditionlambda ent: ent._.section_category, success_valuepatient_instructions ), ], actionpostprocessing_functions.remove_ent, description刪除患者說明章節(jié)中的所有實體 ), ]配合visualize_ent(doc)可視化前后對比可以直觀看到被過濾掉的實體消失。3. 重命名實體詞義消歧ca 既可能是癌癥CANCER也可能是腫瘤標(biāo)志物檢查TEST用條件組合 動作模式自動改標(biāo)簽rules [ PostprocessingRule( patterns[ PostprocessingPattern(conditionlambda ent: ent.text.lower() ca), PostprocessingPattern(conditionpostprocessing_functions.sentence_contains, condition_args(lab,)), # 句子中出現(xiàn) lab ], actionpostprocessing_functions.set_label, kwargs{label: TEST} # 重命名為 TEST ), ]規(guī)則模型三層結(jié)構(gòu)與 medspaCy 其他規(guī)則組件風(fēng)格一致PostprocessingRule一組條件 一個動作全部條件通過才執(zhí)行PostprocessingPattern單個條件檢查支持傳condition_argsaction內(nèi)置或自定義函數(shù)支持kwargs傳參實現(xiàn)源碼見 postprocessor.py、postprocessing_rule.py設(shè)計說明見 README。四、內(nèi)置實用函數(shù)速查表 postprocessing_functions模塊提供開箱即用的條件與動作函數(shù)覆蓋臨床 NLP 最高頻的修正場景類型函數(shù)用途條件is_negated/is_uncertain判斷實體是否被否定/不確定修飾條件is_historical/is_hypothetical/is_family判斷歷史、假設(shè)、家屬提及條件sentence_contains/is_preceded_by/is_followed_by基于句內(nèi)文本或前后窗口詞判斷條件is_modified_by_category/is_modified_by_text檢查 ConText 修飾語動作remove_ent從doc.ents刪除實體動作set_label復(fù)制實體并改標(biāo)簽重命名動作set_negated/set_uncertain等直接修正修飾屬性高頻組合示例——刪除所有被否定實體rules [ PostprocessingRule( patterns[PostprocessingPattern(conditionpostprocessing_functions.is_negated)], actionpostprocessing_functions.remove_ent, ), ]無肺炎跡象no evidence of pneumonia中的 pneumonia 會被自動過濾只保留真實存在的陽性發(fā)現(xiàn)。五、避坑指南 ??Preprocessor 不要add_pipe它不是 spaCy 組件必須直接替換nlp.tokenizer否則流水線不生效。set_label 是復(fù)制再替換spaCy 不允許直接修改 span 標(biāo)簽該函數(shù)會創(chuàng)建新 span 并嘗試復(fù)制擴展屬性復(fù)雜屬性可能丟失建議處理后抽查。Postprocessor 建議放流水線最后若放在 NER/ConText 之前實體上還沒有修飾屬性is_negated等條件全部失效。規(guī)則順序即執(zhí)行順序同一實體會依次被各規(guī)則檢查一旦刪除立即跳過后續(xù)規(guī)則。用 debug 模式排錯add_pipe(medspacy_postprocessor, config{debug: True})可打印每個實體的規(guī)則判定日志。六、總結(jié)需求選擇關(guān)鍵 API清洗原始文本日期、縮寫、占位符PreprocessorPreprocessingRule(pattern, repl)刪除噪聲實體Postprocessorremove_ent重命名/改標(biāo)簽Postprocessorset_labelsentence_contains結(jié)合 ConText 屬性做過濾Postprocessoris_negated等條件函數(shù)完整可運行示例見官方 Notebook 08-Preprocessing-Postprocessing.ipynb配合 discharge_summary.txt 出院小結(jié)語料上手實踐。掌握Preprocessor 清洗 Postprocessor 修正這對組合拳你的 medspaCy 臨床 NLP 流水線就能輸出干凈、可信的實體結(jié)果?！久赓M下載鏈接】medspacyLibrary for clinical NLP with spaCy.項目地址: https://gitcode.com/gh_mirrors/me/medspacy創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考