光學(xué)和SAR“語言不通”H-FIENet如何用少量樣本完成多源洪水變化檢測(cè)光學(xué)和SAR“語言不通”這套方法如何只用少量樣本完成多源洪水變化檢測(cè)一、先別談網(wǎng)絡(luò)為什么“災(zāi)前光學(xué) 災(zāi)后SAR”這么難做1. 最簡(jiǎn)單的方法是先分別找水再做相減2. 為什么不直接讓深度學(xué)習(xí)比較兩張影像3. 更棘手的是高質(zhì)量洪水變化標(biāo)簽太少二、H-FIENet的核心思想別從頭學(xué)習(xí)“洪水”先遷移已經(jīng)學(xué)會(huì)的“水體知識(shí)”三、第一處關(guān)鍵創(chuàng)新不用共享權(quán)重而是讓光學(xué)和SAR各自“說自己的語言”四、為什么“特征統(tǒng)一”比直接做影像轉(zhuǎn)換更合理五、第二處關(guān)鍵創(chuàng)新沒有真實(shí)洪水配對(duì)樣本也可以“造”出變化標(biāo)簽1. 模型真正要學(xué)的是“水—非水狀態(tài)發(fā)生變化”2. 為什么這個(gè)想法重要六、9組樣本就能訓(xùn)練真正起作用的是“遷移”不是樣本數(shù)量本身七、實(shí)驗(yàn)怎么驗(yàn)證作者故意讓模型面對(duì)不同國家、不同衛(wèi)星八、結(jié)果怎么樣先看王家壩OA達(dá)到0.943九、換到歐洲和非洲它還能工作嗎十、再換一組衛(wèi)星GF-2 GF-3也能直接做十一、一個(gè)容易被忽略的亮點(diǎn)它不僅會(huì)看“漲水”還會(huì)看“退水”1. SAR → SAR既檢測(cè)擴(kuò)張也檢測(cè)消退2. SAR → 光學(xué)前后數(shù)據(jù)類型反過來也能處理十二、這篇論文真正的創(chuàng)新不只是一個(gè)偽Siamese網(wǎng)絡(luò)1. 跨任務(wù)遷移2. 異構(gòu)特征統(tǒng)一3. 偽變化樣本十三、這套方法對(duì)洪水應(yīng)急監(jiān)測(cè)意味著什么1. 災(zāi)后不必等待“理想數(shù)據(jù)組合”2. 把數(shù)據(jù)瓶頸從“洪水變化標(biāo)簽”轉(zhuǎn)移到“水體標(biāo)簽”3. 更適合快速遷移到新的區(qū)域和衛(wèi)星4. 為時(shí)序洪水監(jiān)測(cè)提供基礎(chǔ)十四、總結(jié)這篇論文最值得記住的不是0.943而是“先統(tǒng)一水體語義再判斷變化”論文信息光學(xué)和SAR“語言不通”這套方法如何只用少量樣本完成多源洪水變化檢測(cè)一句話讀懂這篇論文它不是分別在災(zāi)前、災(zāi)后影像中“找水”再做疊加而是先把光學(xué)和SAR中的水體特征映射到更一致的語義空間再直接判斷哪里發(fā)生了水體變化更關(guān)鍵的是它不需要大量真實(shí)洪水變化標(biāo)簽而能利用已有水體數(shù)據(jù)自動(dòng)構(gòu)造偽變化樣本。洪水應(yīng)急遙感有一個(gè)很現(xiàn)實(shí)的矛盾。災(zāi)前我們通常能找到清晰的光學(xué)影像災(zāi)后暴雨和厚云往往仍未消散此時(shí)最可靠的卻可能是能夠穿透云雨的SAR影像。于是真正進(jìn)入算法的往往不是“兩張長得差不多的圖”而是一張光學(xué)影像和一張SAR影像。問題也隨之出現(xiàn)光學(xué)影像記錄的是地物反射光譜SAR記錄的是微波散射。兩者看起來完全不是一種“語言”變化檢測(cè)模型該怎樣直接比較武漢大學(xué)Bofei Zhao、Haigang Sui等人在發(fā)表于Remote Sensing of Environment的論文《Flood inundation monitoring using multi-source satellite imagery: a knowledge transfer strategy for heterogeneous image change detection》中提出了異構(gòu)洪水淹沒提取網(wǎng)絡(luò)——H-FIENet。這項(xiàng)工作的重點(diǎn)并不是簡(jiǎn)單設(shè)計(jì)一個(gè)更深的網(wǎng)絡(luò)而是同時(shí)處理兩個(gè)長期困擾洪水應(yīng)急制圖的問題異構(gòu)影像特征不一致以及真實(shí)雙時(shí)相洪水變化樣本太少。一、先別談網(wǎng)絡(luò)為什么“災(zāi)前光學(xué) 災(zāi)后SAR”這么難做1. 最簡(jiǎn)單的方法是先分別找水再做相減傳統(tǒng)洪水制圖中一個(gè)很常見的方法是后分類比較也就是PCCPost-Classification Comparison。它的邏輯非常直接先從災(zāi)前影像中提取正常水體再從災(zāi)后影像中提取水體最后比較兩張二值水體圖。如果某處災(zāi)前不是水、災(zāi)后變成水就認(rèn)為這里發(fā)生了洪水?dāng)U張如果災(zāi)前是水、災(zāi)后不是水則對(duì)應(yīng)退水。聽起來沒有問題但真正麻煩的是洪水結(jié)果的正確性同時(shí)依賴災(zāi)前和災(zāi)后兩次水體提取都正確。只要其中一次出現(xiàn)誤判錯(cuò)誤就會(huì)繼續(xù)傳遞到最終變化結(jié)果中。尤其是SAR影像中道路、建筑陰影、平滑地表等區(qū)域都可能表現(xiàn)出較低的后向散射從而被誤認(rèn)為水體。于是單時(shí)相提取誤差最終會(huì)被帶入洪水圖。2. 為什么不直接讓深度學(xué)習(xí)比較兩張影像這正是變化檢測(cè)網(wǎng)絡(luò)擅長的事情。但這里還有第二個(gè)問題光學(xué)和SAR不是同一種數(shù)據(jù)。光學(xué)影像依賴可見光和近紅外反射SAR影像依賴微波與地表結(jié)構(gòu)、粗糙度和介電性質(zhì)之間的相互作用。同一個(gè)河流在光學(xué)影像中可能表現(xiàn)為深色且光譜穩(wěn)定的區(qū)域在SAR影像中則主要表現(xiàn)為低后向散射。因此經(jīng)典Siamese網(wǎng)絡(luò)中“兩個(gè)分支共享權(quán)重”的假設(shè)并不天然適合這種組合。3. 更棘手的是高質(zhì)量洪水變化標(biāo)簽太少如果有幾十萬組精確配準(zhǔn)的“災(zāi)前光學(xué)—災(zāi)后SAR—洪水變化標(biāo)簽”模型當(dāng)然可以慢慢學(xué)。但真實(shí)情況恰恰相反。大規(guī)模水體提取數(shù)據(jù)集很多而真正包含不同衛(wèi)星、不同地區(qū)、不同時(shí)間并且具有像素級(jí)洪水變化標(biāo)簽的數(shù)據(jù)集十分有限。人工制作這種樣本不僅耗時(shí)而且洪水應(yīng)急場(chǎng)景本身就要求快速響應(yīng)。所以這篇論文面對(duì)的其實(shí)是兩個(gè)問題第一光學(xué)和SAR特征空間不一致。第二異構(gòu)洪水變化樣本嚴(yán)重不足。H-FIENet就是圍繞這兩個(gè)問題展開。二、H-FIENet的核心思想別從頭學(xué)習(xí)“洪水”先遷移已經(jīng)學(xué)會(huì)的“水體知識(shí)”作者注意到一個(gè)很重要的事實(shí)雖然“異構(gòu)洪水變化數(shù)據(jù)”很少但“單時(shí)相水體提取數(shù)據(jù)”并不少。這意味著與其讓一個(gè)新模型從零開始同時(shí)學(xué)習(xí)“什么是水”“光學(xué)里的水長什么樣”“SAR里的水長什么樣”“什么時(shí)候算洪水變化”不如先利用已經(jīng)訓(xùn)練好的水體提取模型把最基礎(chǔ)的水體知識(shí)繼承下來。整個(gè)邏輯可以概括成一句話先讓光學(xué)分支和SAR分支分別學(xué)會(huì)“看水”再讓變化檢測(cè)模塊學(xué)習(xí)“水發(fā)生了什么變化”。論文把這種設(shè)計(jì)稱為跨任務(wù)知識(shí)遷移cross-task knowledge transfer。源任務(wù)是水體提取目標(biāo)任務(wù)是洪水變化檢測(cè)。也就是說H-FIENet并不是把一個(gè)普通分類模型直接遷移到洪水任務(wù)而是把與洪水最相關(guān)的“水體語義知識(shí)”遷移過來。三、第一處關(guān)鍵創(chuàng)新不用共享權(quán)重而是讓光學(xué)和SAR各自“說自己的語言”經(jīng)典Siamese網(wǎng)絡(luò)通常由兩個(gè)結(jié)構(gòu)相同、參數(shù)共享的分支組成。這在同源影像變化檢測(cè)中很合理因?yàn)闉?zāi)前和災(zāi)后影像來自相同或相似傳感器特征表達(dá)基本一致。但對(duì)于光學(xué)和SAR這種共享反而可能成為限制。H-FIENet因此采用了pseudo-Siamese也就是偽Siamese結(jié)構(gòu)。兩個(gè)分支不共享參數(shù)而是各自使用最適合自己的水體特征提取網(wǎng)絡(luò)。論文中光學(xué)影像分支采用MSResNetSAR影像分支采用Siam-DWENet。這兩個(gè)模型首先分別在光學(xué)水體數(shù)據(jù)和SAR水體數(shù)據(jù)上進(jìn)行訓(xùn)練。隨后作者去掉原來用于單時(shí)相水體分類的輸出部分把中間學(xué)到的水體特征提取能力保留下來作為H-FIENet的兩個(gè)特征轉(zhuǎn)換模塊。于是整個(gè)過程變成災(zāi)前光學(xué)影像光學(xué)水體特征轉(zhuǎn)換模塊災(zāi)后SAR影像SAR水體特征轉(zhuǎn)換模塊統(tǒng)一的水體語義特征空間比較雙時(shí)相水體變化洪水淹沒變化結(jié)果這里真正重要的不是“雙分支”三個(gè)字而是兩個(gè)分支不再試圖直接比較原始光學(xué)和SAR像素而是先把它們轉(zhuǎn)換成更接近的“水體語義”。換句話說模型不需要回答“這個(gè)SAR灰度值和那個(gè)光學(xué)像素值是否相似”而是回答這兩個(gè)位置在經(jīng)過各自的水體特征提取后表達(dá)的“水體狀態(tài)”是否發(fā)生了變化這一步就是論文解決異構(gòu)影像特征差異的核心。四、為什么“特征統(tǒng)一”比直接做影像轉(zhuǎn)換更合理面對(duì)光學(xué)—SAR變化檢測(cè)一個(gè)常見思路是把其中一種影像“翻譯”成另一種影像再計(jì)算差異。例如可以嘗試把災(zāi)前光學(xué)特征回歸成類似災(zāi)后SAR的特征然后比較它們。但這種方法會(huì)面臨一個(gè)問題影像中包含建筑、道路、農(nóng)田、植被、水體等大量信息而洪水檢測(cè)真正關(guān)心的其實(shí)只是“水體狀態(tài)有沒有變化”。H-FIENet因此沒有要求兩個(gè)模態(tài)在所有地物特征上都完全一致而是重點(diǎn)統(tǒng)一與水體有關(guān)的深層語義特征。論文圖12對(duì)比了AGSCC、CAAE和H-FIENet的特征轉(zhuǎn)換結(jié)果。AGSCC能夠通過特征回歸獲得較明顯的變化區(qū)域但超像素處理會(huì)帶來鋸齒和細(xì)節(jié)損失CAAE依賴未變化區(qū)域進(jìn)行無監(jiān)督特征學(xué)習(xí)當(dāng)變化區(qū)域比例較大時(shí)容易產(chǎn)生漏檢。H-FIENet則把注意力集中在水體語義上。因此它的目標(biāo)不是讓光學(xué)影像看起來像SAR。而是讓光學(xué)中的“水”和SAR中的“水”在深層特征空間中變得更容易比較。這是理解H-FIENet最關(guān)鍵的一點(diǎn)。五、第二處關(guān)鍵創(chuàng)新沒有真實(shí)洪水配對(duì)樣本也可以“造”出變化標(biāo)簽僅僅解決特征不一致還不夠。深度學(xué)習(xí)變化檢測(cè)通常仍需要大量雙時(shí)相標(biāo)簽。而本文一個(gè)非常值得借鑒的設(shè)計(jì)是重新思考變化檢測(cè)訓(xùn)練樣本是否一定要求災(zāi)前和災(zāi)后來自同一個(gè)地理位置作者的答案是不一定。1. 模型真正要學(xué)的是“水—非水狀態(tài)發(fā)生變化”假設(shè)有一張來自中國的光學(xué)影像其中已經(jīng)標(biāo)好了水體。另一張來自其他地區(qū)的SAR影像也已經(jīng)有水體標(biāo)簽。傳統(tǒng)變化檢測(cè)不會(huì)把它們放在一起因?yàn)閮蓚€(gè)影像根本不是同一個(gè)地方。但作者認(rèn)為如果目標(biāo)只是訓(xùn)練模型理解“一個(gè)位置從水變成非水或者從非水變成水意味著變化”那么地理位置本身并不是必須信息。因此可以隨機(jī)組合來自不同區(qū)域的光學(xué)水體樣本和SAR水體樣本。然后只比較它們的水體標(biāo)簽。如果兩個(gè)標(biāo)簽狀態(tài)不同就記為“變化”如果狀態(tài)相同就記為“未變化”?？梢詫懗煞浅Ｖ庇^的邏輯光學(xué)標(biāo)簽 水 SAR標(biāo)簽 水 → 未變化 光學(xué)標(biāo)簽 非水 SAR標(biāo)簽 非水 → 未變化 光學(xué)標(biāo)簽 非水 SAR標(biāo)簽 水 → 變化 光學(xué)標(biāo)簽 水 SAR標(biāo)簽 非水 → 變化本質(zhì)上它就是對(duì)兩張水體標(biāo)簽做一種“異或”關(guān)系。論文把這種數(shù)據(jù)稱為spatially inconsistent heterogeneous image flood detection dataset也就是“空間不一致的異構(gòu)影像洪水檢測(cè)數(shù)據(jù)集”。2. 為什么這個(gè)想法重要因?yàn)樗淖兞藰颖精@取方式。傳統(tǒng)路線是找到同一地點(diǎn)的災(zāi)前影像 災(zāi)后影像 → 精確配準(zhǔn) → 人工標(biāo)注洪水變化。H-FIENet的路線則是找到已有的光學(xué)水體數(shù)據(jù) SAR水體數(shù)據(jù) → 隨機(jī)組合 → 自動(dòng)生成偽變化標(biāo)簽。原本稀缺的是“洪水變化標(biāo)簽”而已有資源中并不缺“水體標(biāo)簽”。作者因此把一個(gè)難以獲取的數(shù)據(jù)問題轉(zhuǎn)換成了一個(gè)可以復(fù)用已有公開數(shù)據(jù)的問題。六、9組樣本就能訓(xùn)練真正起作用的是“遷移”不是樣本數(shù)量本身論文實(shí)驗(yàn)中有一個(gè)非常醒目的數(shù)字H-FIENet的洪水變化訓(xùn)練數(shù)據(jù)只有9組512×512影像塊。這9組數(shù)據(jù)由災(zāi)前光學(xué)影像、災(zāi)后SAR影像和自動(dòng)構(gòu)造的偽洪水變化標(biāo)簽組成并按照4:4:1劃分訓(xùn)練、測(cè)試和驗(yàn)證數(shù)據(jù)。如果一個(gè)普通深度網(wǎng)絡(luò)完全從隨機(jī)初始化開始只依賴9組變化樣本很難期待它穩(wěn)定掌握不同衛(wèi)星之間復(fù)雜的水體表示。但H-FIENet并不是從零開始。它的兩個(gè)前端分支已經(jīng)通過光學(xué)水體數(shù)據(jù)和SAR水體數(shù)據(jù)預(yù)訓(xùn)練學(xué)到了大量與水體相關(guān)的知識(shí)。所以最終的少樣本訓(xùn)練更像是不是重新教模型“什么是水”而只是教模型“已經(jīng)識(shí)別出來的水體特征應(yīng)該怎樣比較”。這也解釋了為什么論文的重點(diǎn)必須同時(shí)看兩個(gè)部分跨任務(wù)知識(shí)遷移 偽變化樣本構(gòu)造。只有偽樣本沒有穩(wěn)定的預(yù)訓(xùn)練水體特征少量樣本很難支撐模型只有預(yù)訓(xùn)練特征沒有一種低成本生成變化標(biāo)簽的方法訓(xùn)練數(shù)據(jù)瓶頸依然存在。兩者實(shí)際上是一套完整設(shè)計(jì)。七、實(shí)驗(yàn)怎么驗(yàn)證作者故意讓模型面對(duì)不同國家、不同衛(wèi)星為了證明H-FIENet不是只對(duì)某一組Sentinel影像有效論文選擇了多種洪水場(chǎng)景和多種衛(wèi)星組合。主要數(shù)據(jù)來自數(shù)據(jù)類型在實(shí)驗(yàn)中的作用Sentinel-2光學(xué)災(zāi)前水體與洪水前背景Sentinel-1SAR災(zāi)后快速洪水監(jiān)測(cè)GF-2光學(xué)驗(yàn)證國產(chǎn)高分光學(xué)數(shù)據(jù)適應(yīng)性GF-3SAR驗(yàn)證國產(chǎn)SAR數(shù)據(jù)適應(yīng)性研究區(qū)域包括中國王家壩、比利時(shí)Liège以及莫桑比克Maputo等洪水區(qū)域。這些區(qū)域的土地覆蓋差異明顯有農(nóng)田、居民區(qū)、河流、濕地和植被也跨越不同氣候和地理環(huán)境。因此實(shí)驗(yàn)真正想回答的不是模型能不能把一場(chǎng)洪水做準(zhǔn)而是換一個(gè)國家、換一種地表、甚至換一組衛(wèi)星后這套特征遷移策略還能不能工作八、結(jié)果怎么樣先看王家壩OA達(dá)到0.943在王家壩實(shí)驗(yàn)中作者使用災(zāi)前Sentinel-2光學(xué)影像和災(zāi)后Sentinel-1 SAR影像進(jìn)行洪水提取。H-FIENet與CMCDNet、GIR-MRF、AGSCC、CAAE和INLPG等方法進(jìn)行了比較。核心結(jié)果如下方法OAFAMDKappaAGSCC0.8800.0500.4140.581GIR-MRF0.8800.0760.3020.618CMCDNet0.9300.0400.1750.787CAAE0.7650.2690.0880.428INLPG0.7440.1880.5410.256H-FIENet0.9430.0320.1630.815這里最值得關(guān)注的并不是單純“0.943比0.930高多少”。更重要的是CMCDNet屬于監(jiān)督式異構(gòu)變化檢測(cè)方法需要較多雙時(shí)相訓(xùn)練樣本H-FIENet依靠很少的偽變化樣本仍然獲得了接近甚至更好的檢測(cè)表現(xiàn)。論文還指出在3800×3100像素的災(zāi)前、災(zāi)后影像上H-FIENet推理時(shí)間約為1分鐘。這使它更貼近洪水應(yīng)急制圖對(duì)快速處理的需求。九、換到歐洲和非洲它還能工作嗎作者進(jìn)一步使用Copernicus Emergency Management Service提供的洪水產(chǎn)品作為參考在比利時(shí)和莫桑比克進(jìn)行驗(yàn)證。H-FIENet在不同場(chǎng)景下的OA分別達(dá)到EMSR5180.954EMSR650-020.871EMSR650-030.933其中在EMSR650-02場(chǎng)景中H-FIENet的OA并不是所有方法中最高但其Kappa達(dá)到0.441并且在誤警和漏檢之間表現(xiàn)出較好的綜合平衡。這組實(shí)驗(yàn)的意義在于模型并沒有只在王家壩這一處訓(xùn)練邏輯下獲得有效結(jié)果而是在歐洲和非洲完全不同的洪水背景中繼續(xù)保持可用的變化檢測(cè)能力。在莫桑比克實(shí)驗(yàn)中論文還提到H-FIENet能夠在數(shù)分鐘內(nèi)完成洪水范圍處理并且整個(gè)檢測(cè)過程可以自動(dòng)執(zhí)行而CEMS產(chǎn)品本身還涉及專家參與和后處理。這說明本文真正強(qiáng)調(diào)的是“自動(dòng)化應(yīng)急制圖潛力”而不僅是實(shí)驗(yàn)室條件下的像素精度。十、再換一組衛(wèi)星GF-2 GF-3也能直接做如果一個(gè)模型只能處理Sentinel-2和Sentinel-1那么所謂“多源”仍然比較有限。因此作者專門用王家壩洪水測(cè)試了災(zāi)前GF-2光學(xué)影像 災(zāi)后GF-3 SAR影像結(jié)果顯示H-FIENet仍然能夠提取主要洪水淹沒范圍。這一實(shí)驗(yàn)實(shí)際上驗(yàn)證了H-FIENet結(jié)構(gòu)中的一個(gè)重要思想變化判別部分和不同傳感器的水體特征模塊可以相對(duì)獨(dú)立。如果未來要加入新的遙感數(shù)據(jù)源理論上不一定需要推翻整個(gè)變化檢測(cè)框架而可以針對(duì)新的傳感器準(zhǔn)備相應(yīng)的水體特征轉(zhuǎn)換模塊再嵌入H-FIENet。這種模塊化設(shè)計(jì)比固定死在某一種傳感器組合上的網(wǎng)絡(luò)更有擴(kuò)展?jié)摿ΑＪ?、一個(gè)容易被忽略的亮點(diǎn)它不僅會(huì)看“漲水”還會(huì)看“退水”很多洪水研究最終只回答一個(gè)問題洪水最大淹到了哪里但洪水本身是動(dòng)態(tài)過程。水會(huì)擴(kuò)張也會(huì)退去。作者因此使用王家壩2020年7月20日、8月1日和8月17日的多時(shí)相影像進(jìn)一步測(cè)試H-FIENet能否處理不同組合。1. SAR → SAR既檢測(cè)擴(kuò)張也檢測(cè)消退使用7月20日和8月1日的兩期Sentinel-1 SAR影像時(shí)H-FIENet能夠同時(shí)識(shí)別新增淹沒區(qū)和退水區(qū)。其中洪水?dāng)U張檢測(cè)OA0.973洪水退水檢測(cè)OA0.853對(duì)于洪水?dāng)U張H-FIENet與傳統(tǒng)RI、NCI方法表現(xiàn)接近對(duì)于洪水退水論文認(rèn)為H-FIENet在空間結(jié)果上具有更明顯優(yōu)勢(shì)。2. SAR → 光學(xué)前后數(shù)據(jù)類型反過來也能處理作者又使用8月1日SAR影像和8月17日光學(xué)影像進(jìn)行變化檢測(cè)。這一次輸入順序不再是“光學(xué) → SAR”而是SAR → 光學(xué)H-FIENet仍然能夠提取退水區(qū)域。這說明它的目標(biāo)并不是建立一個(gè)只能服務(wù)于“災(zāi)前光學(xué)、災(zāi)后SAR”的固定模型而是在一定程度上支持更靈活的雙時(shí)相遙感組合。因此這篇論文已經(jīng)從“一次洪水應(yīng)急制圖”向“多時(shí)相洪水過程監(jiān)測(cè)”邁了一步。十二、這篇論文真正的創(chuàng)新不只是一個(gè)偽Siamese網(wǎng)絡(luò)如果只看網(wǎng)絡(luò)結(jié)構(gòu)很容易把這篇文章理解成“作者設(shè)計(jì)了一個(gè)雙分支變化檢測(cè)網(wǎng)絡(luò)?！钡@樣會(huì)低估它。論文真正值得關(guān)注的是它重新組織了洪水變化檢測(cè)中數(shù)據(jù)、知識(shí)和模型之間的關(guān)系。層次常見做法H-FIENet的改變輸入數(shù)據(jù)盡量要求同源雙時(shí)相影像允許光學(xué)、SAR等異構(gòu)影像組合特征提取兩個(gè)時(shí)相共享或統(tǒng)一網(wǎng)絡(luò)不同傳感器使用獨(dú)立水體特征模塊特征匹配直接比較原始或通用深層特征先統(tǒng)一“水體語義”再檢測(cè)變化訓(xùn)練樣本依賴真實(shí)雙時(shí)相洪水標(biāo)簽利用單時(shí)相水體標(biāo)簽構(gòu)造偽變化樣本知識(shí)來源從變化數(shù)據(jù)中重新學(xué)習(xí)從已有水體提取任務(wù)遷移知識(shí)應(yīng)用范圍固定數(shù)據(jù)源、固定雙時(shí)相組合可擴(kuò)展到不同衛(wèi)星和漲水/退水過程因此這項(xiàng)工作的創(chuàng)新可以濃縮成三個(gè)關(guān)鍵詞。1. 跨任務(wù)遷移把“水體提取”中學(xué)到的知識(shí)遷移到“洪水變化檢測(cè)”減少對(duì)洪水變化標(biāo)簽的依賴。2. 異構(gòu)特征統(tǒng)一不是強(qiáng)迫光學(xué)和SAR共享同一個(gè)特征提取器而是讓它們分別學(xué)習(xí)再在更高層水體語義空間中進(jìn)行比較。3. 偽變化樣本不再要求災(zāi)前、災(zāi)后影像來自同一地理位置而是利用已有水體標(biāo)簽自動(dòng)構(gòu)造變化監(jiān)督信息。這三點(diǎn)共同構(gòu)成了H-FIENet而不是彼此獨(dú)立的小技巧。十三、這套方法對(duì)洪水應(yīng)急監(jiān)測(cè)意味著什么1. 災(zāi)后不必等待“理想數(shù)據(jù)組合”現(xiàn)實(shí)中洪水發(fā)生后最先到達(dá)的影像來自哪顆衛(wèi)星并不確定。如果算法只能接受固定的Sentinel-2 → Sentinel-1組合那么應(yīng)急系統(tǒng)仍然受數(shù)據(jù)限制。H-FIENet希望做的是誰先拍到就盡量利用誰。只要相應(yīng)傳感器具有可用的水體特征提取模塊就有機(jī)會(huì)進(jìn)入同一變化檢測(cè)框架。2. 把數(shù)據(jù)瓶頸從“洪水變化標(biāo)簽”轉(zhuǎn)移到“水體標(biāo)簽”洪水變化標(biāo)簽昂貴且稀缺而全球已經(jīng)積累了大量單時(shí)相水體數(shù)據(jù)。H-FIENet的價(jià)值之一就是讓這些已有數(shù)據(jù)不再只服務(wù)于水體提取而能進(jìn)一步支持洪水變化檢測(cè)。3. 更適合快速遷移到新的區(qū)域和衛(wèi)星由于兩個(gè)傳感器分支相對(duì)獨(dú)立未來加入新的光學(xué)或SAR傳感器時(shí)可以優(yōu)先訓(xùn)練對(duì)應(yīng)的水體特征模塊。這種設(shè)計(jì)降低了“每換一種衛(wèi)星就重新構(gòu)建整個(gè)洪水變化模型”的壓力。4. 為時(shí)序洪水監(jiān)測(cè)提供基礎(chǔ)論文已經(jīng)證明H-FIENet可以處理SAR—SAR、SAR—光學(xué)等不同時(shí)間組合也能區(qū)分洪水?dāng)U張與退水。這意味著它具有進(jìn)一步組織多期影像、構(gòu)建洪水動(dòng)態(tài)序列的潛力。十四、總結(jié)這篇論文最值得記住的不是0.943而是“先統(tǒng)一水體語義再判斷變化”H-FIENet在王家壩異構(gòu)光學(xué)—SAR洪水實(shí)驗(yàn)中的OA達(dá)到0.943在歐洲和非洲不同洪水場(chǎng)景中仍保持較好的檢測(cè)表現(xiàn)同時(shí)能夠擴(kuò)展到GF-2/GF-3數(shù)據(jù)并識(shí)別洪水?dāng)U張和退水過程。但這些數(shù)字背后更值得關(guān)注的是它的問題拆解方式。傳統(tǒng)思路往往是直接讓模型學(xué)習(xí)光學(xué)和SAR之間所有復(fù)雜差異。H-FIENet則把問題重新定義為光學(xué)和SAR雖然長得完全不同但它們都可以先回答“這里是不是水”只要把這種水體語義表達(dá)統(tǒng)一后續(xù)真正需要學(xué)習(xí)的就只是“水體狀態(tài)有沒有變化”。與此同時(shí)作者又進(jìn)一步把稀缺的雙時(shí)相洪水變化標(biāo)簽轉(zhuǎn)換成可以由已有單時(shí)相水體標(biāo)簽自動(dòng)生成的偽變化樣本。因此這篇論文真正解決的不是某一個(gè)網(wǎng)絡(luò)層怎么設(shè)計(jì)而是怎樣利用已有知識(shí)和已有數(shù)據(jù)讓多源異構(gòu)遙感影像在洪水應(yīng)急中更快地形成可比較、可遷移、可自動(dòng)化的變化結(jié)果。這也是它發(fā)表于Remote Sensing of Environment后最值得關(guān)注的地方。它把洪水變化檢測(cè)從“必須擁有理想的雙時(shí)相訓(xùn)練數(shù)據(jù)”推進(jìn)到了即使數(shù)據(jù)來自不同衛(wèi)星、不同模態(tài)而且真正的洪水變化樣本很少也可以通過知識(shí)遷移把已有水體數(shù)據(jù)重新利用起來。論文信息論文題目Flood inundation monitoring using multi-source satellite imagery: a knowledge transfer strategy for heterogeneous image change detection作者Bofei Zhao、Haigang Sui、Junyi Liu、Weiyue Shi、Wentao Wang、Chuan Xu、Jindi Wang期刊Remote Sensing of Environment卷期Volume 314, 114373發(fā)表年份2024DOI10.1016/j.rse.2024.114373