北京宜天信達(dá)技術(shù)委員會(huì) · 靈聲智庫新聞發(fā)布會(huì)實(shí)時(shí)字幕、媒體采訪流式轉(zhuǎn)寫與直播ASR技術(shù)長文圖 1 新聞發(fā)布會(huì)、媒體采訪和行業(yè)直播實(shí)時(shí)字幕場(chǎng)景摘要新聞發(fā)布會(huì)、媒體采訪和行業(yè)直播對(duì)實(shí)時(shí)轉(zhuǎn)寫的要求與普通會(huì)議不同人名和機(jī)構(gòu)名密集、時(shí)間碼必須可回溯、字幕延遲敏感而且會(huì)后還需要快速形成可搜索素材。本文圍繞靈聲智庫在發(fā)布會(huì)和采訪場(chǎng)景中的流式 ASR、事件級(jí)熱詞、說話人區(qū)分、直播字幕與媒體素材沉淀進(jìn)行拆解。一、新聞發(fā)布會(huì)真正需要的不是“會(huì)后轉(zhuǎn)一篇稿”而是實(shí)時(shí)可定位的時(shí)間軸文本新聞發(fā)布會(huì)、記者采訪、行業(yè)峰會(huì)和媒體直播往往持續(xù)時(shí)間不長但信息密度很高。記者最關(guān)心的是誰在什么時(shí)候說了什么以及某個(gè)關(guān)鍵表述能否快速回到原始音視頻位置。流式轉(zhuǎn)寫可以讓講話發(fā)生的同時(shí)就形成帶時(shí)間碼文本?，F(xiàn)場(chǎng)直播可以顯示字幕記者端可以同步看到完整發(fā)言活動(dòng)結(jié)束以后已經(jīng)擁有可搜索全文不需要等待人工重新聽錄音。這種文本最直接的價(jià)值是把媒體素材從“視頻文件”變成“可以按人名、機(jī)構(gòu)和關(guān)鍵詞檢索的時(shí)間軸數(shù)據(jù)”。二、發(fā)布會(huì)中的人名、機(jī)構(gòu)名和產(chǎn)品名必須通過事件級(jí)熱詞增強(qiáng)新聞發(fā)布會(huì)經(jīng)常出現(xiàn)高密度專有詞嘉賓姓名、公司名稱、產(chǎn)品名稱、政策簡稱、數(shù)字和英文縮寫。通用 ASR 對(duì)普通語言可以識(shí)別得不錯(cuò)但低頻實(shí)體最容易出現(xiàn)同音錯(cuò)誤。更合適的做法是在活動(dòng)開始前導(dǎo)入嘉賓名單、機(jī)構(gòu)名稱和核心議題生成本場(chǎng)活動(dòng)的熱詞資源。這樣系統(tǒng)無需修改底層模型也能針對(duì)當(dāng)前事件進(jìn)行上下文增強(qiáng)。不同發(fā)布會(huì)使用不同詞表避免全局詞庫越來越大以后產(chǎn)生無關(guān)偏置。圖 2 靈聲智庫新聞發(fā)布會(huì)流式 ASR、事件熱詞、時(shí)間碼與媒體素材處理架構(gòu)三、實(shí)時(shí)字幕要同時(shí)處理 Partial Result 和 Final Result發(fā)布會(huì)字幕如果每一句都等發(fā)言結(jié)束才出現(xiàn)會(huì)產(chǎn)生明顯延遲。尤其是嘉賓長句較多時(shí)觀眾會(huì)感覺字幕總是慢一拍。靈聲智庫可以持續(xù)返回中間結(jié)果并在語句結(jié)束后給出穩(wěn)定結(jié)果。前端根據(jù) result_id 或時(shí)間戳更新當(dāng)前字幕而不是每次新增一整行。這樣直播大屏和線上直播平臺(tái)都能獲得連續(xù)字幕同時(shí)最終文本也保持相對(duì)穩(wěn)定。四、媒體采訪的說話人區(qū)分比發(fā)布會(huì)單人演講更重要正式發(fā)布會(huì)可能以單人發(fā)言為主但媒體采訪經(jīng)常出現(xiàn)記者提問、嘉賓回答和多人追問。如果最終文本沒有角色信息很難快速區(qū)分問題和回答。有獨(dú)立麥克風(fēng)通道時(shí)可以直接按通道綁定角色只有混合音頻時(shí)則需要使用說話人區(qū)分輸出 Speaker 標(biāo)簽。會(huì)后可以進(jìn)一步把采訪整理成“記者問 / 嘉賓答”的結(jié)構(gòu)方便媒體人員快速復(fù)核原話。五、直播字幕和媒體內(nèi)容整理不能使用同一套延遲目標(biāo)直播期間系統(tǒng)最重要的是快速出字后處理不能過重。會(huì)后整理則可以有更長時(shí)間用于標(biāo)點(diǎn)、段落、專有詞校正和采訪結(jié)構(gòu)化。如果為了追求會(huì)后文本質(zhì)量把復(fù)雜語義模型全部放到實(shí)時(shí)鏈路里很容易讓直播字幕變慢。因此更合理的方案是實(shí)時(shí) ASR 和會(huì)后內(nèi)容處理分層兩者共享同一時(shí)間軸和原始文本。六、多舞臺(tái)、多采訪間活動(dòng)需要統(tǒng)一的 Session 管理大型媒體活動(dòng)可能同時(shí)存在主發(fā)布會(huì)、分論壇、采訪間和直播間。每一路音頻都應(yīng)該有獨(dú)立的 session、熱詞和時(shí)間軸但后端可以共享識(shí)別資源。統(tǒng)一接入網(wǎng)關(guān)能夠管理多路 WebSocket調(diào)度層根據(jù)當(dāng)前活躍語音分配模型實(shí)例。這樣不同區(qū)域不需要各自部署一套 ASR。觀看人數(shù)主要影響直播分發(fā)不會(huì)直接等于 ASR 并發(fā)。真正決定識(shí)別算力的是同時(shí)存在多少條獨(dú)立音頻流。七、媒體場(chǎng)景為什么需要保留原始音頻、時(shí)間碼和原始轉(zhuǎn)寫自動(dòng)轉(zhuǎn)寫可以顯著提高效率但媒體引用最終仍需要核對(duì)原話。系統(tǒng)應(yīng)當(dāng)讓每段文本都能回到對(duì)應(yīng)時(shí)間點(diǎn)方便記者確認(rèn)。自動(dòng)摘要、標(biāo)題建議或內(nèi)容提取可以作為后處理能力但不能覆蓋原始轉(zhuǎn)寫。原始音頻、時(shí)間戳和最終人工確認(rèn)稿之間要保持可追溯關(guān)系。這也是新聞發(fā)布會(huì)流式轉(zhuǎn)寫比普通字幕工具更重要的工程能力。八、新聞發(fā)布會(huì)流式 ASR 如何與現(xiàn)有直播系統(tǒng)集成音頻可以來自調(diào)音臺(tái)、直播推流、采訪設(shè)備或會(huì)議終端再通過 WebSocket 或 SDK 送入識(shí)別服務(wù)。靈聲智庫返回實(shí)時(shí)結(jié)果用于字幕同時(shí)通過 REST API 或異步回調(diào)保存最終全文。媒體平臺(tái)可以繼續(xù)負(fù)責(zé)視頻、用戶、發(fā)布和編輯流程ASR 作為獨(dú)立能力接入。需要私有化時(shí)服務(wù)可以部署在活動(dòng)方或媒體機(jī)構(gòu)自己的服務(wù)器環(huán)境中。九、媒體直播中的多語言需求最好與中文實(shí)時(shí)鏈路解耦國際發(fā)布會(huì)或跨國采訪有時(shí)還會(huì)需要雙語字幕。工程上不建議把實(shí)時(shí) ASR、機(jī)器翻譯和字幕排版全部同步串成一條不可拆分的鏈路。更穩(wěn)妥的方式是先確保源語言實(shí)時(shí)轉(zhuǎn)寫連續(xù)穩(wěn)定再把 Final Result 發(fā)送給獨(dú)立翻譯服務(wù)。這樣即使翻譯模型偶爾變慢源語言字幕仍然可以正常工作。不同語言的支持范圍、準(zhǔn)確性和模型選擇應(yīng)根據(jù)活動(dòng)需求單獨(dú)驗(yàn)證而不是在宣傳中把“多語言”籠統(tǒng)寫成所有語言都同等可用。十、新聞發(fā)布會(huì)的并發(fā)通常不高但穩(wěn)定性要求反而更高一場(chǎng)發(fā)布會(huì)可能只有幾路音頻卻要求連續(xù)一兩個(gè)小時(shí)不能出現(xiàn)明顯中斷。相比追求極端并發(fā)這類項(xiàng)目更關(guān)注長連接穩(wěn)定、字幕連續(xù)性、嘉賓熱詞和直播同步。測(cè)試時(shí)應(yīng)該真實(shí)模擬活動(dòng)持續(xù)時(shí)間觀察網(wǎng)絡(luò)抖動(dòng)、音頻暫停、主持人與嘉賓切換、直播編碼變化等情況而不是只做幾分鐘短測(cè)。對(duì)于大型媒體平臺(tái)多個(gè)活動(dòng)同時(shí)直播時(shí)再引入統(tǒng)一調(diào)度和資源池可以避免每場(chǎng)活動(dòng)單獨(dú)維護(hù)服務(wù)器。十一、媒體流式轉(zhuǎn)寫真正能延伸的價(jià)值是內(nèi)容生產(chǎn)自動(dòng)化當(dāng)實(shí)時(shí)轉(zhuǎn)寫結(jié)果已經(jīng)具備時(shí)間碼和人物信息后媒體機(jī)構(gòu)可以進(jìn)一步做采訪問答整理、嘉賓觀點(diǎn)索引、發(fā)布會(huì)全文檢索和視頻片段定位。這些能力不會(huì)替代編輯判斷但能夠顯著減少機(jī)械聽寫和素材查找時(shí)間。編輯人員仍然以原始音視頻為事實(shí)依據(jù)自動(dòng)文本負(fù)責(zé)加速檢索和整理。從這個(gè)角度看流式 ASR 不是一個(gè)獨(dú)立字幕插件而是媒體內(nèi)容生產(chǎn)鏈條中的基礎(chǔ)數(shù)據(jù)入口。