這項(xiàng)由阿聯(lián)酋東談主工智能大學(xué)（MBZUAI）與IBM斟酌院聯(lián)絡(luò)開展的斟酌，以預(yù)印本款式于2026年5月12日發(fā)布在arXiv平臺(tái)，論文編號(hào)為arXiv:2605.12623。有興致深入了解的讀者可通過該編號(hào)查閱完好論文。

**一、 故事從一談"翻譯難題"提及**

假定你手邊有一份泰語的法律合同、一份阿拉伯語的學(xué)術(shù)闡發(fā)、再加上一份用緬甸文寫成的醫(yī)療紀(jì)錄。你想讓電腦幫你把這些文獻(xiàn)里的筆墨、表格、圖表全部準(zhǔn)確索取出來，最佳連版面結(jié)構(gòu)也一并保留。聽起來不難？實(shí)踐上，這恰是現(xiàn)在東談主工智能范疇最辣手的問題之一。

現(xiàn)存的文檔交融系統(tǒng)在英語上進(jìn)展格出門色，但一朝遭逢資源匱乏的小語種，準(zhǔn)確率就會(huì)斷崖式著落——偶然以至跌去40%到60%。形成這一窘境的根蒂原因，在于考試數(shù)據(jù)嚴(yán)重短缺。莫得迷漫的標(biāo)注數(shù)據(jù)，再聰慧的模子也無從學(xué)起。

更辣手的是，現(xiàn)存的數(shù)據(jù)制作方式自己就存在惡性輪回：要么靠東談主工標(biāo)注，費(fèi)時(shí)戮力，根蒂無法掩飾幾十種言語；要么靠已有的AI模子自動(dòng)打標(biāo)簽，但這些模子自己就對(duì)英語有偏見，它們給出的標(biāo)注一樣帶著偏見，用這些數(shù)據(jù)考試出來的下一代模子，偏見只會(huì)有增無減。這就好比一個(gè)只讀過中告示的憨厚，你讓他去教學(xué)生認(rèn)日文，他教出來的學(xué)生當(dāng)然也只會(huì)華文。

恰是為了突破這個(gè)死輪回，阿聯(lián)酋東談主工智能大學(xué)和IBM斟酌院的聯(lián)絡(luò)團(tuán)隊(duì)提倡了DocAtlas——一套全新的多言語文檔交融框架，方針是讓機(jī)器信得過讀懂來自寰宇各地的文獻(xiàn)，掩飾82種言語、9種不同任務(wù)。

**二、 傳統(tǒng)作念法的三條死巷子**

要交融DocAtlas的價(jià)值，得先搞清爽前東談主是如何作念的，以及為什么作念不下去。

第一種作念法是東談主工標(biāo)注。斟酌東談主員把文檔打印出來（大概在屏幕上），然后東談主工框出每一段筆墨、每一張表格、每一個(gè)標(biāo)題，告訴機(jī)器"這是段落""那是表格"。這種方式質(zhì)地最高，但代價(jià)極其高尚。一個(gè)東談主一天能標(biāo)注幾許頁？一個(gè)團(tuán)隊(duì)能掩飾幾許種言語？FUNSD這個(gè)經(jīng)典數(shù)據(jù)集只須199份文檔，只復(fù)古一種言語，XFUND膨脹到7種言語，也只須1300份。關(guān)于82種言語來說，東談主工標(biāo)注根蒂是杯水救薪。

第二種作念法是合成生成。既然真實(shí)文檔難以標(biāo)注，那就我方造文檔吧——把筆墨放在預(yù)設(shè)好的位置上，位置自己即是標(biāo)注。這種方式省去了東談主工，但造出來的文檔太"假"，缺少嵌套表格、混排圖文這些真實(shí)寰宇里常見的復(fù)雜結(jié)構(gòu)，考試出來的模子一遭逢真實(shí)文獻(xiàn)就懵了。

第三種作念法是讓AI模子自動(dòng)打標(biāo)簽。用一個(gè)已有的布局檢測(cè)模子，掃描文檔圖片，框出各個(gè)區(qū)域，再貼上標(biāo)簽。這看似省事，卻引入了前邊說的惡性輪回——模子的偏見徑直渾濁了標(biāo)注數(shù)據(jù)。DocBank即是這樣作念的，領(lǐng)有50萬份文檔，但標(biāo)注質(zhì)地受制于檢測(cè)模子的武藝上限。

斟酌團(tuán)隊(duì)還提到了另一條路：渲染驅(qū)動(dòng)的標(biāo)注要領(lǐng)。已有的WordScape款式就沿著這個(gè)地方走，從Common Crawl（一個(gè)掩飾全球網(wǎng)頁內(nèi)容的超大型數(shù)據(jù)庫）里捏取Word文檔，通過給文檔里的不同組件染色來識(shí)別它們的位置。這個(gè)念念路沒錯(cuò)，但履行上存在幾個(gè)彰著疏漏：用LibreOffice把Word文檔轉(zhuǎn)成PDF時(shí)，會(huì)因?yàn)樽煮w替換和筆墨重排產(chǎn)生"渲染漂移"，也即是說頤養(yǎng)前后一樣的筆墨可能出現(xiàn)在不同位置；筆墨索取和位置框?qū)Σ簧?，莫得幾何?duì)皆保證；關(guān)于阿拉伯語、希伯來語這類從右向左書寫的筆墨，十足莫得復(fù)古；圖表被當(dāng)作不透明的圖片一概貶責(zé)，內(nèi)容無從索取。

DocAtlas的中樞孝順，恰是在繼承了渲染驅(qū)動(dòng)這條路的合理內(nèi)核之后，把上述每一個(gè)疏漏都堵上了。

**三、 "差值渲染"：像攝影機(jī)找不合并樣精信服位**

DocAtlas的第一條數(shù)據(jù)出產(chǎn)活水線，貶責(zé)的是真實(shí)的Word文檔（.docx樣式），數(shù)據(jù)起原一樣是Common Crawl這個(gè)公開的網(wǎng)頁歸檔庫。

通盤經(jīng)由不錯(cuò)用一個(gè)日常的譬如來交融：假定你在一張空缺畫布上畫了一幅畫，現(xiàn)在你想知談畫里每一個(gè)元素的精準(zhǔn)位置。最笨的主見是讓東談主肉眼去框。聰慧的主見是：先拍一張?jiān)嫦嗥?，再把某個(gè)你感興致的元素（比如天外）涂成鮮紅色，再拍第二張相片，然后把兩張相片疊在一皆作念減法——那邊出現(xiàn)了紅色，那邊即是天外。

DocAtlas即是這樣干的，只不外操作對(duì)象是Word文檔。團(tuán)隊(duì)先從OpenXML樣式（Word文檔的里面代碼樣式）里識(shí)別出文檔里的種種組件——標(biāo)題、正文、表格、圖片、頁眉等等——然后通過Word的表情屬性，給不同類型的組件注入不同的激情代碼。接著用微軟官方的Word引擎（貫注，不是LibreOffice）分別渲染出"染色版"和"原版"兩份PDF，再用圖像貶責(zé)器用（OpenCV）對(duì)兩張圖作念逐像素相減。那邊有激情相反，那邊即是被標(biāo)注的組件，并且不錯(cuò)通過激情徑直判斷是哪類組件。

這種"差值渲染"要領(lǐng)有一個(gè)相配關(guān)節(jié)的上風(fēng)：它能訣別"注入的激情"和"文檔里本來就有的激情"。昔時(shí)的單次染色法作念不到這少許——如若文檔本來就有紅色配景，那注入的紅色標(biāo)記就混進(jìn)去了，根分內(nèi)不清。差值法例十足繞過了這個(gè)問題，因?yàn)橹豁氃趦纱武秩局g發(fā)生變化的像素，才被作為標(biāo)注收尾。

位置框信服之后，還需要把筆墨內(nèi)容和位置對(duì)應(yīng)起來。團(tuán)隊(duì)同期從OpenXML里索取文檔級(jí)別的筆墨，再用Docling器用（一個(gè)基于規(guī)定的PDF知道器，不是神經(jīng)鳩集模子）從PDF里索取頁面級(jí)別的筆墨和位置，然后用交并比（IoU，一種揣度兩個(gè)區(qū)域疊加進(jìn)度的籌辦）把每個(gè)詞語匹配到對(duì)應(yīng)的組件區(qū)域里。當(dāng)多個(gè)組件區(qū)域有疊加時(shí)，系統(tǒng)會(huì)憑證表情置信度來決定優(yōu)先級(jí)，確保結(jié)構(gòu)映射的一致性。

通盤這些信息最終被序列化成一種叫作念DocTag的和諧樣式。DocTag是一種雷同XML的標(biāo)記言語，每個(gè)標(biāo)簽同期包含組件類型、幾何位置和筆墨內(nèi)容。這種樣式比HTML更好，因?yàn)镠TML不保存位置信息；比Markdown更好，因?yàn)镸arkdown會(huì)把檔次結(jié)構(gòu)壓扁。有了DocTag，一張頁面就變成了一個(gè)扁平的標(biāo)簽序列，每個(gè)標(biāo)簽告訴模子"這里有什么、在那邊、寫的是什么"，從而完結(jié)版面檢測(cè)、閱讀法式收復(fù)、內(nèi)容索取的多任務(wù)聯(lián)絡(luò)考試。

在數(shù)據(jù)質(zhì)地限定上，團(tuán)隊(duì)還作念了兩輪篩選。第一輪用fastText揣度文檔言語，再用5-gram Kneser-Ney言語模子規(guī)畫困惑度（困惑度不錯(cuò)交融為"模子對(duì)這段筆墨有多困惑"，困惑度越高證實(shí)筆墨質(zhì)地越差），開導(dǎo)閾值為120，過濾掉38%的低質(zhì)地頁面，保留94%以上的高質(zhì)地?cái)?shù)據(jù)。第二輪規(guī)畫"標(biāo)注可靠性分?jǐn)?shù)"，揣度通過原生XML信號(hào)（而非啟發(fā)式規(guī)定）得手標(biāo)注的字符比例，低于0.6分的頁面徑直剔除，最終約有15%的頁面因視覺特殊信號(hào)（如多數(shù)空缺、渲染虛偽）被過濾。

在服從上，整條活水線在一臺(tái)寬泛的蘋果M2 Pro條記本上運(yùn)行（莫得GPU加快，莫得散布式規(guī)畫），每天能貶責(zé)10萬張以上的標(biāo)注頁面，100萬個(gè)樣本不到72小時(shí)就能跑完。

**四、 為"從右往左"的筆墨有益開辟第二條路**

阿拉伯語、希伯來語、波斯語、烏爾都語，都是從右向左書寫的言語。這類言語在現(xiàn)存PDF知道器用里廣大存在雙向文本知道失敗的問題——器用把從右往左的筆墨法式搞反，大概十足無法識(shí)別段落結(jié)構(gòu)。因此，僅靠真實(shí)Word文檔的活水線，無法掩飾這類言語。

斟酌團(tuán)隊(duì)為此有益瞎想了第二條活水線，用合成生成的方式來補(bǔ)足這個(gè)缺口。這條活水線的輸入是結(jié)構(gòu)化的電子書和網(wǎng)頁文獻(xiàn)（EPUB、HTML、XML樣式），先用知道器用把內(nèi)容頤養(yǎng)成圭臬的Docling JSON樣式，給每個(gè)內(nèi)容元素打上標(biāo)簽并賦予初步的位置框，然后通過205個(gè)基于LuaTeX（一種專科排版引擎）的模板，把這些內(nèi)容渲染成精準(zhǔn)排版的PDF文檔。

這些模板每一個(gè)都針對(duì)特定言語的排版法式瞎想：字體禮聘盲從各言語的書寫傳統(tǒng)（阿拉伯語用Amiri、Scheherazade等字體；希伯來語用David、Narkisim等；波斯語用Nazanin、Lotus等；烏爾都語用Nastaliq、Naskh等），版面參數(shù)涵蓋頁面地方、列數(shù)（1到3列）、字號(hào)（9到14磅）、激情、邊距、頁眉頁腳表情，以及關(guān)節(jié)的雙向筆墨限定原語。

在渲染過程中，系統(tǒng)通過三次編譯來保證位置精度：第一次編譯信服初步版面，第二次編譯把每個(gè)元素的精準(zhǔn)坐標(biāo)寫入.pos文獻(xiàn)，第三次編譯生成最終的PDF并考據(jù)位置。坐標(biāo)經(jīng)過系統(tǒng)性頤養(yǎng)，從LaTeX的縮放點(diǎn)（sp）到PDF的點(diǎn)（pt）再到圖像的像素（px），確保最終標(biāo)注框與實(shí)踐渲染位置十足吻合。整條活水線在單核CPU上能達(dá)到每分鐘183頁的費(fèi)解量。

質(zhì)地篩選過濾掉了三類問題頁面：編譯前后坐標(biāo)漂移杰出2pt的頁面（占原始輸出的15.2%）、模板排版錯(cuò)位（如元素疊加或筆墨溢出，占8.9%）、字體渲染失?。ㄈ缱中稳笔Щ蜃中紊y詞語，占2.1%）。最終這條活水線生成了9036份文檔共19.5萬張頁面，掩飾阿拉伯語、希伯來語、波斯語、烏爾都語四種右向左書寫的言語。

**五、 數(shù)據(jù)總量與組成：一個(gè)掩飾82種言語的巨型語料庫**

兩條活水線合并之后，原始語料庫包含101萬份文檔，548萬張頁面，進(jìn)步136種言語。其中第一條活水線（真實(shí)Word文檔）孝順了100萬份文檔、529萬張頁面，第二條活水線（合成右向左文檔）孝順了9036份文檔、19.5萬張頁面。

數(shù)據(jù)散布呈典型的長(zhǎng)尾形態(tài)：英語、俄語、西班牙語占據(jù)高頻區(qū)間，約占總頁數(shù)的60%；希伯來語、泰語、緬甸語、高棉語等中低資源言語，每種也孝順了杰出5萬張頁面，確保了在種種言語類型上的有用掩飾。經(jīng)過質(zhì)地篩選和難度感知采樣，最終考試語料庫包含36萬張頁面，掩飾82種言語、31類結(jié)構(gòu)組件、25個(gè)以上內(nèi)容范疇（包括醫(yī)療、法律與政府、金融、科學(xué)等）。

在標(biāo)注組件類型上，高頻標(biāo)簽包括寬泛文本、表格、一級(jí)標(biāo)題，低頻但熱切的標(biāo)簽包括數(shù)學(xué)公式、表單字段、參考文獻(xiàn)列表，后者為考試模子識(shí)別淡薄但關(guān)節(jié)的文檔元素提供了監(jiān)督信號(hào)。

通盤語料庫來自公開鳩集內(nèi)容，均使用CC-BY 4.0、CC0或人人范疇等寬松許可左券。斟酌團(tuán)隊(duì)還部署了自動(dòng)化的個(gè)東談主秘籍信息（PII）檢測(cè)經(jīng)由，使用Microsoft Presidio器用，引誘spaCy定名實(shí)體識(shí)別和自界說正則抒發(fā)式，識(shí)別并過濾了包含三條及以上個(gè)東談主信息（如姓名、電話、政府證件號(hào)、地址、金融符號(hào)符）的文檔，共移除94.2萬份文檔（占運(yùn)行鳩集量的5.15%）。東談主工抽查1000份保留文檔，漏檢率僅為0.1%。

**六、 一把測(cè)量多國(guó)文檔交融武藝的"量尺"**

有了考試數(shù)據(jù)還不夠，還需要一套嚴(yán)格的測(cè)試圭臬，才能知談哪個(gè)模子果真利弊、哪個(gè)模子僅僅在本言語上刷了高分。DocAtlas同期構(gòu)建了一個(gè)多言語基準(zhǔn)測(cè)試集，包含5862張頁面，掩飾82種言語、9項(xiàng)評(píng)測(cè)任務(wù)。

頁面中式盲從"難度分層"原則：用ResNet-50（一種圖像特征索取鳩集）索取每張頁面的視覺特征，再用FAISS聚類算法把相似頁面聚在一皆，然后在每個(gè)聚類里面按難度（詳盡探究表格占比、公式密度、圖表數(shù)目、字體種種性、圖片比例等要素）分紅浮淺、中等、艱苦三檔，世界杯官方認(rèn)證平臺(tái)從中均勻采樣，每種言語最多取100張頁面，共5575個(gè)樣本。此外，團(tuán)隊(duì)還手工挑選了201份含有高難度公式的PDF，非凡加多144個(gè)公款式本。

圖表數(shù)據(jù)是單獨(dú)生成的：先用Qwen3-VL模子生成多言語主題，再用Matplotlib或Plotly渲染成柱狀圖、折線圖、餅圖等多種圖表類型，經(jīng)GPT-4o初步篩選后，由三位范疇大眾交叉考據(jù)結(jié)構(gòu)完好性、LaTeX公式對(duì)皆、右向左閱讀法式，達(dá)到94.2%的標(biāo)注一致率（Cohen's κ=0.89）。

9項(xiàng)評(píng)測(cè)任務(wù)分別是：端到端全頁面知道（把一張頁面完好頤養(yǎng)為Markdown或DocTag樣式）、筆墨識(shí)別、表格索取、公式轉(zhuǎn)錄、圖表知道、閱讀法式收復(fù)，以及三項(xiàng)樣式頤養(yǎng)子任務(wù)（圖表→HTML、公式→LaTeX、表格→HTML）。評(píng)測(cè)籌辦掩飾歸一化編著距離（揣度揣度筆墨與真實(shí)筆墨的相似度）、TEDS（樹編著距離相似度，有益評(píng)估表格結(jié)構(gòu)的準(zhǔn)確性）、CDM（字符檢測(cè)匹配，用于公式評(píng)估）和圖表分?jǐn)?shù)（將圖表先轉(zhuǎn)成HTML表格再用TEDS評(píng)估）。

**七、 16個(gè)模子的大考：誰是多言語文檔交融的信得過鐵漢？**

斟酌團(tuán)隊(duì)在這套基準(zhǔn)上評(píng)測(cè)了16個(gè)現(xiàn)時(shí)源頭進(jìn)的模子，按照定位分為三類。

第一類是通用多模態(tài)大言語模子，包括Gemini-2.0-Pro、GPT-4o、Qwen3-VL（3B參數(shù)版）、Qwen2.5-VL（2B版）和InternVL3.5（2B版）。這類模子自己莫得有益針對(duì)文檔版面作念過考試，格外于"全科生"選手。

第二類是大眾文檔模子，包括SmolDocling（2.56億參數(shù)）、Granite-Docling（2.58億參數(shù)）和DotsOCR（3B參數(shù)）。這類模子體量較小，但有益針對(duì)文檔版面知道作念了考試，屬于"?？粕?。

第三類是OCR專項(xiàng)系統(tǒng)，包括PaddleOCR-VL（1B參數(shù)）、DeepseekOCR（3B參數(shù)）、MonkeyOCR-pro（1.2B參數(shù)）、Dolphin（4億參數(shù)）、Nanonets-OCR-s（4B參數(shù)）、Nanonets-OCR2（3B參數(shù)）、Chandra（9B參數(shù)）和MinerU2.5（1.2B參數(shù)），以及DocAtlas團(tuán)隊(duì)微調(diào)過的DocAtlas-DeepSeek（3B參數(shù)）。

評(píng)測(cè)收尾呈現(xiàn)出幾個(gè)清爽的法令。在總體分?jǐn)?shù)上，DocAtlas-DeepSeek以83.37%位居第一，DeepseekOCR以81.66%緊隨自后——要知談DeepseekOCR只須3B參數(shù)，能達(dá)到這個(gè)得益格外令東談主詫異，證確切文檔交融這個(gè)任務(wù)上，參數(shù)目大不等于性能強(qiáng)。GPT-4o的總分是75.30%，遠(yuǎn)不如這些專科OCR系統(tǒng)。

筆墨識(shí)別和結(jié)構(gòu)化內(nèi)容索取之間存在弘遠(yuǎn)畛域。頂尖模子的筆墨編著距離在0.068到0.095之間（越低越好），證實(shí)筆墨識(shí)別還是格外準(zhǔn)確；但表格TEDS分?jǐn)?shù)廣大停留在71%到73%，并且豈論言語如何變化，這個(gè)天花板簡(jiǎn)直依樣葫蘆。這意味著表格的空間推理武藝，而非筆墨闊別武藝，才是現(xiàn)時(shí)文檔交融的信得過瓶頸。

高資源言語和低資源言語之間的落差攝人心魄。英語、俄語、西班牙語等主空話語的準(zhǔn)確率牢固在80%到95%，波動(dòng)很小；而低資源言語的準(zhǔn)確率區(qū)間是20%到85%，中位數(shù)頻頻低于40%。換句話說，關(guān)于那些考試數(shù)據(jù)匱乏的言語，即使是源頭進(jìn)的模子，也凡俗只可答對(duì)不到一半。

從言語家眷維度看，印歐語系和基里爾字母（俄語、烏克蘭語等）言語進(jìn)展最佳，準(zhǔn)確率在80%到87%之間；日語家眷（26.9%到70.5%）和南亞語系（Austroasiatic）進(jìn)展最差，即使是最頂級(jí)的模子也舉步維艱。團(tuán)隊(duì)合計(jì)，這證實(shí)形態(tài)復(fù)雜的言語和表意筆墨體系，顯現(xiàn)了現(xiàn)存視覺特征學(xué)習(xí)的根人性頹勢(shì)。

在圖表索取這項(xiàng)任務(wù)上，專科OCR系統(tǒng)和通用多模態(tài)大模子之間出現(xiàn)了戲劇性的分化。Gemini-2.5-Flash在15種言語上平均得分61.82%，跨言語一致性最佳；而DeepseekOCR在英語圖表上得分87%，到了泰語、阿拉伯語、意大利語就跌到8%到17%。SmolDocling在折線圖上的準(zhǔn)確率接近于零（0.038），證實(shí)僅靠筆墨索取根蒂搪塞不了圖表交融，這項(xiàng)任務(wù)需要信得過的視覺推理武藝。

同期，斟酌團(tuán)隊(duì)系統(tǒng)分析了16個(gè)模子在5345份文檔上犯的88036個(gè)虛偽，歸納出12種虛偽類型，其中最主要的四種分別是：表格跨行跨列虛偽（占15.7%，表格里的合并單位格貶責(zé)不合）、樣式虛偽（14.6%，粗體斜體標(biāo)簽弄錯(cuò)、破折號(hào)字符混用）、字符編碼虛偽（13.2%，Unicode歸一化問題，比如不詳號(hào)用了不同的Unicode字符）、內(nèi)容遺漏（13.2%，帶連字符的詞語和列表分隔符被丟失）。

**八、 如何讓模子學(xué)會(huì)新言語而不健忘舊言語？**

考試數(shù)據(jù)和測(cè)試基準(zhǔn)都有了，接下來最關(guān)節(jié)的問題是：如何把這些數(shù)據(jù)用起來，讓已有的OCR模子信得過學(xué)會(huì)新言語，同期又不把昔時(shí)學(xué)過的英語等言語忘掉？

這就像教一個(gè)還是能干英語的東談主學(xué)華文——如若學(xué)習(xí)方式不合，他學(xué)會(huì)華文的同期可能把英語忘了，這叫"災(zāi)難性漸忘"。團(tuán)隊(duì)系統(tǒng)比較了三種考試戰(zhàn)略。

第一種戰(zhàn)略是全頁面監(jiān)督微調(diào)（Full-Page SFT）：把每張頁面的圖片和對(duì)應(yīng)的DocTag/Markdown筆墨配對(duì)，徑直考試模子在看到頁面圖片霎生成正確的結(jié)構(gòu)化筆墨。這是最徑直的要領(lǐng)，格外于讓學(xué)生反復(fù)作念整卷造就題。

第二種戰(zhàn)略是組件級(jí)監(jiān)督微調(diào)（Component-level SFT）：把頁面剪輯成一個(gè)個(gè)小區(qū)域（段落、表格、圖表、公式），針對(duì)每個(gè)組件單獨(dú)考試。這格外于把整卷題目拆成一談?wù)剢晤}來練。

第三種戰(zhàn)略是徑直偏好優(yōu)化（DPO）：這是一種不同于寬泛微調(diào)的考試范式。它的中樞念念路是：關(guān)于合并張頁面圖片，給模子看兩個(gè)謎底——一個(gè)是由渲染驅(qū)動(dòng)的標(biāo)注系統(tǒng)生成的正確謎底（作為"正樣本"），一個(gè)是模子我方原來給出的回應(yīng)（作為"負(fù)樣本"）——然后考試模子偏好正確謎底。這格外于不徑直告訴學(xué)生"背這個(gè)謎底"，而是讓學(xué)生在兩個(gè)謎底里辨別哪個(gè)更好，從而培養(yǎng)判斷力。

除了禮聘哪種考試戰(zhàn)略，團(tuán)隊(duì)還斟酌了另一個(gè)變量：考試哪些參數(shù)。全量微調(diào)（通盤參數(shù)都更新）后果最猛，但反作用最大；LoRA（低秩適應(yīng)）是一種參數(shù)高效的要領(lǐng)，格外于在模子里插入一個(gè)小"適配器"，只更新這個(gè)適配器，原模子參數(shù)基本不動(dòng)，從而大幅減少漸忘。LoRA又有幾個(gè)變體：更新全部層、只更新MLP層、只更新MLP的門控和下投影、更新通盤QKV層、只更新QKV層。

詳盡評(píng)測(cè)收尾清爽地揭示了一個(gè)法令。全量SFT在新言語高漲幅最大（表格TEDS升遷13.6個(gè)百分點(diǎn)），但基礎(chǔ)言語性能下降幅度也最大（–12.1個(gè)百分點(diǎn)）。組件級(jí)SFT的新言語增益更大，但基礎(chǔ)言語漸忘也更嚴(yán)重，嚴(yán)重時(shí)下降杰出21個(gè)百分點(diǎn)——意味著模子把昔時(shí)學(xué)的東西簡(jiǎn)直全忘光了。

只更新QKV層的LoRA變體達(dá)到了最優(yōu)的收益-漸忘均衡：新言語筆墨編著距離改善0.021，基礎(chǔ)言語不降反升，改善0.011個(gè)百分點(diǎn)。團(tuán)隊(duì)對(duì)此的解釋是：QKV參數(shù)限定的是"重眼光路由"，即模子在貶責(zé)一段筆墨時(shí)決定把重眼光放在那邊，頤養(yǎng)這部分參數(shù)能匡助模子學(xué)會(huì)跨言語的重眼光分撥，而不會(huì)侵?jǐn)_MLP層（認(rèn)真輸出詞匯散布），是以不會(huì)導(dǎo)致漸忘。

DPO戰(zhàn)略在四個(gè)被評(píng)測(cè)的模子上（Qwen2.5-VL、Nanonets-OCR、DotsOCR、DeepseekOCR）都進(jìn)展出了一樣的法令：在域內(nèi)言語（考試時(shí)見過的言語）升遷約1.8%到1.9%，在域外言語（考試時(shí)沒見過的言語）也升遷約1.4%到1.8%，基礎(chǔ)言語降幅低于3%。這是獨(dú)逐一種能同期改善新言語和基礎(chǔ)言語性能的要領(lǐng)，突破了"學(xué)新忘舊"的法令，因?yàn)榘涯Ｗ游曳降奶搨沃i底作為負(fù)樣本，格外于給模子保留了對(duì)原有武藝的牽掛錨點(diǎn)。

更進(jìn)一步，團(tuán)隊(duì)還有益比較了DPO用不同正樣本的后果：用渲染驅(qū)動(dòng)的真實(shí)標(biāo)注作為正樣本，和用GPT-4o的輸出作為正樣本，收尾相反顯赫。GPT-4o蒸餾帶來的域內(nèi)增益只須0.4個(gè)百分點(diǎn)，域外性能反而下降了0.7個(gè)百分點(diǎn)。原因在于，GPT-4o自己對(duì)低資源言語也存在系統(tǒng)性偏見：會(huì)在某些言語里產(chǎn)生虛偽的變音象征、把從右往左的列法式搞反。這些虛偽通過蒸餾傳遞給了被考試的模子，渾濁了跨言語泛化武藝。這一收尾解釋，驅(qū)動(dòng)DPO后果的根蒂不是DPO算法自己，而是背后那套模子無關(guān)的標(biāo)注活水線。

DocAtlas-DeepSeek在兩個(gè)外部測(cè)試集（DocPTBench和OmniDocBench，均以英文文檔為主，包含拍攝或掃描的文檔，考試時(shí)十足沒見過）上也展示了遷徙泛化武藝：編著距離分別從22.1%降到20.7%、從0.137降到0.122。這證實(shí)通過DPO學(xué)到的跨言語重眼光路由，不僅在考試見過的言語上有用，在考試域除外也能走漏作用。

從言語家眷維度看DPO的增益，不錯(cuò)發(fā)現(xiàn)真諦的散布法令：漢藏語系、日語家眷、南亞語系獲益最大（漢藏語系筆墨增益高達(dá)40%），可能是因?yàn)檫@些言語的視覺特征之間存在分享結(jié)構(gòu)，有助于學(xué)問遷徙；印歐語系和烏拉爾語系增益較?。ǖ陀?%），證實(shí)這些言語在考試前還是被模子學(xué)得比較好；基里爾字母言語的增益主要體現(xiàn)在表格而非筆墨，證實(shí)結(jié)構(gòu)化內(nèi)容的遷徙比純筆墨更容易。

說到底，DocAtlas這套職責(zé)回應(yīng)了一個(gè)對(duì)通盤文檔AI范疇都意旨深切的問題：機(jī)器能不成在不借助任何已有AI模子的情況下，我方學(xué)會(huì)讀懂來自寰宇各地的文獻(xiàn)？謎底是信服的，并且通過差值渲染這個(gè)近似"攝影機(jī)找不同"的方式，還能作念到格外高的精度和格外廣的言語掩飾。關(guān)于資源匱乏的言語社區(qū)來說，這意味著將來腹地言語的文檔數(shù)字化、法律合同分析、醫(yī)療紀(jì)錄索取，都有望取得與英語用戶同等質(zhì)地的器用復(fù)古。

雖然，這套系統(tǒng)也有彰著局限：它依賴文檔源文獻(xiàn)（Word或結(jié)構(gòu)化標(biāo)記樣式），關(guān)于掃描件、相片拍攝的文檔十足窩囊為力，因?yàn)檫@類文檔根蒂?zèng)]罕有字筆墨層不錯(cuò)索取。斟酌團(tuán)隊(duì)坦承，將DocAtlas的監(jiān)督信號(hào)與傳統(tǒng)的OCR工夫引誘，針對(duì)掃描文檔作念進(jìn)一步蔓延，是一個(gè)當(dāng)然的后續(xù)地方。另外，表格TEDS在71%到73%隔鄰的天花板問題，證實(shí)空間推理武藝仍然是通盤范疇尚待突破的中樞難題。

關(guān)于有興致進(jìn)一步探索的讀者，不錯(cuò)通過arXiv編號(hào)2605.12623查閱完好論文，數(shù)據(jù)集和代碼則托管在論文封面所標(biāo)注的GitHub倉庫地址下。

---

**Q&A**

Q1：DocAtlas的"差值渲染"和寬泛的文檔標(biāo)注要領(lǐng)有什么骨子區(qū)別？

A：寬泛的文檔標(biāo)注要么靠東談主工框選，要么靠已有AI模子自動(dòng)識(shí)別，兩者都有上限：東談主工太慢、AI有偏見。差值渲染則十足繞開了這兩條路——它先給Word文檔里的不同組件染上不同激情，用微軟Word引擎渲染出染色版和原版兩份PDF，再逐像素相減，那邊有激情相反就證實(shí)那邊有標(biāo)注組件。通盤過程不需要任何已有的AI模子參與中樞標(biāo)注，標(biāo)注質(zhì)地不受現(xiàn)存模子武藝的限制。

Q2：DPO考試為什么能幸免"學(xué)新言語忘舊言語"這個(gè)問題？

A：傳統(tǒng)微調(diào)（SFT）徑直讓模子記取新的輸入輸出對(duì)，更新幅度大，容易把舊學(xué)問掩飾掉。DPO的作念法不同：它給模子同期展示正確謎底（渲染驅(qū)動(dòng)的真實(shí)標(biāo)注）和模子原來給出的回應(yīng)，考試模子學(xué)會(huì)"偏好"正確謎底。把模子我方原來的輸出作為負(fù)樣本，格外于給模子保留了對(duì)舊武藝的牽掛錨點(diǎn)，是以能在學(xué)會(huì)新言語的同期保管舊言語的性能。

Q3：DocAtlas基準(zhǔn)測(cè)試和之前的多言語文檔測(cè)試集比擬，上風(fēng)在那邊？

A：掩飾范圍和任務(wù)深度都有顯赫膨脹。之前最佳的多言語文檔基準(zhǔn)READOC掩飾27種言語2026美加墨世界杯(中國(guó))，不復(fù)古圖表知道；OmniDocBench只掩飾2種言語；DocAtlas掩飾82種言語，同期復(fù)古9項(xiàng)任務(wù)（端到端頁面知道、筆墨識(shí)別、表格索取、公式轉(zhuǎn)錄、圖表知道、閱讀法式收復(fù)，以及圖表→HTML、公式→LaTeX、表格→HTML三項(xiàng)樣式頤養(yǎng)），是眼序言語掩飾最廣、任務(wù)最全的文檔交融基準(zhǔn)。