：Knowledge Acquisition During Pre?training? Large Language Models Learn Better With Auxiliary Vi)
# 論文總結(jié)：Knowledge Acquisition During Pre?training? Large Language Models Learn Better With Auxiliary Views 論文信息：arXiv:2609.04180，接收于 Findings of EMNLP 2026 作者：Joseph Lee, Yidi Huang, Dokyoon Kim, Shu Yang, Li Shen## 一、論文主要內(nèi)容該論文聚焦**大語言模型預(yù)訓練階段的知識獲取機制**。當前業(yè)界已經(jīng)知道去重、過濾、數(shù)據(jù)質(zhì)量、數(shù)據(jù)多樣性對預(yù)訓練很重要，但缺少解釋：**知識該以怎樣的表達形式被模型學習**。論文提出**輔助視角（Auxiliary Views）**概念：對同一知識做概念層面的多種重表述（教材、博客、問答等不同體裁，不等同于簡單同義改寫paraphrase），通過受控的繼續(xù)預(yù)訓練實驗，探究輔助視角如何影響模型對事實知識、推理知識的習得。核心實驗設(shè)置：收集計算機、法律、醫(yī)學3個領(lǐng)域未出現(xiàn)在OLMo?2預(yù)訓練語料的原始文檔；針對每篇文檔生成多類輔助視角文本，嚴格固定token預(yù)算，對比「僅原始文檔」「僅同義改寫」「原始+輔助視角」多種訓練方案；同時改變模型規(guī)模、batch size、生成輔助視角的教師模型能力，觀測知識召回、推理能力、模型內(nèi)部層編碼行為的變化。主要實驗發(fā)現(xiàn)：1. 重復是知識獲取的必要條件，但同義改寫（paraphrase）的增益僅在小batch size下有效；batch變大后改寫帶來的收益會消失。2. 在token總預(yù)算不變前提下，把原本用于重復原始文檔的token分配給輔助視角，**即便減少原始文檔的訓練頻次，依然同時提升事實 論文總結(jié)：Knowledge Acquisition During Pre?training? Large Language Models Learn Better With Auxiliary Vi
# 論文總結(jié)：Knowledge Acquisition During Pre?training? Large Language Models Learn Better With Auxiliary Views 論文信息：arXiv:2609.04180，接收于 Findings of EMNLP 2026 作者：Joseph Lee, Yidi Huang, Dokyoon Kim, Shu Yang, Li Shen## 一、論文主要內(nèi)容該論文聚焦**大語言模型預(yù)訓練階段的知識獲取機制**。當前業(yè)界已經(jīng)知道去重、過濾、數(shù)據(jù)質(zhì)量、數(shù)據(jù)多樣性對預(yù)訓練很重要，但缺少解釋：**知識該以怎樣的表達形式被模型學習**。論文提出**輔助視角（Auxiliary Views）**概念：對同一知識做概念層面的多種重表述（教材、博客、問答等不同體裁，不等同于簡單同義改寫paraphrase），通過受控的繼續(xù)預(yù)訓練實驗，探究輔助視角如何影響模型對事實知識、推理知識的習得。核心實驗設(shè)置：收集計算機、法律、醫(yī)學3個領(lǐng)域未出現(xiàn)在OLMo?2預(yù)訓練語料的原始文檔；針對每篇文檔生成多類輔助視角文本，嚴格固定token預(yù)算，對比「僅原始文檔」「僅同義改寫」「原始+輔助視角」多種訓練方案；同時改變模型規(guī)模、batch size、生成輔助視角的教師模型能力，觀測知識召回、推理能力、模型內(nèi)部層編碼行為的變化。主要實驗發(fā)現(xiàn)：1. 重復是知識獲取的必要條件，但同義改寫（paraphrase）的增益僅在小batch size下有效；batch變大后改寫帶來的收益會消失。2. 在token總預(yù)算不變前提下，把原本用于重復原始文檔的token分配給輔助視角，**即便減少原始文檔的訓練頻次，依然同時提升事實