當(dāng)世界發(fā)生變化時(shí)，人類(lèi)書(shū)寫(xiě)的文字也會(huì)隨之改變。像戰(zhàn)爭(zhēng)、傳染病大流行這樣的重大事件會(huì)影響文本語(yǔ)料庫(kù)中的詞頻分布。科學(xué)學(xué)科的興衰在學(xué)術(shù)著作中也可見(jiàn)一斑。那么，科學(xué)技術(shù)的進(jìn)步是否也在我們的寫(xiě)作中留下了類(lèi)似的痕跡呢？
2022 年 11 月，ChatGPT 橫空出世，這讓人類(lèi)的寫(xiě)作經(jīng)歷了前所未有的變革：首次出現(xiàn)了一款廣泛可用的大語(yǔ)言模型（LLM），它能夠在包括學(xué)術(shù)界在內(nèi)的多個(gè)領(lǐng)域生成和修改具有媲美人類(lèi)表現(xiàn)的文本。此后，許多研究人員在日常寫(xiě)作任務(wù)中融入了大語(yǔ)言模型（LLM），甚至與大語(yǔ)言模型共同撰寫(xiě)了論文。這也引發(fā)了人們對(duì)科研誠(chéng)信、大語(yǔ)言模型生成內(nèi)容中的事實(shí)錯(cuò)誤以及論文工廠(chǎng)濫用大語(yǔ)言模型生成虛假論文的擔(dān)憂(yōu)。
基于這些擔(dān)憂(yōu)，有研究人員開(kāi)始嘗試追蹤大語(yǔ)言模型輔助寫(xiě)作（LLM-assisted writing）在科學(xué)文本中留下的痕跡。
2025 年 7 月 2 日，德國(guó)圖賓根大學(xué)的研究人員在 Science 子刊 Science Advances 上發(fā)表了題為：Delving into LLM-assisted writing in biomedical publications through excess vocabulary 的研究論文。
該研究顯示，在 2024 年被 PubMed 收錄的 150 萬(wàn)篇生物醫(yī)學(xué)論文中，有大約 20 萬(wàn)篇論文（占比約1/7）的摘要存在大語(yǔ)言模型生成文本的跡象，這些論文摘要中包含了一些常見(jiàn)于大語(yǔ)言模型（LLM）生成文本中的標(biāo)志性詞匯，例如"unparalleled"（無(wú)與倫比的）和"invaluable"（無(wú)價(jià)的）。
值得一提的是，該論文曾于 2024 年 6 月在預(yù)印本平臺(tái)發(fā)布，當(dāng)時(shí)的評(píng)估顯示，2024 年上半年的論文中，約 1/9 的論文摘要存在大語(yǔ)言模型生成文本的跡象，這表明了生物醫(yī)學(xué)領(lǐng)域使用大語(yǔ)言模型輔助寫(xiě)作的現(xiàn)象正在加速。
ChatGPT 等大語(yǔ)言模型（LLM）能夠生成和修改文本，其表現(xiàn)甚至可與人類(lèi)相媲美。但這些模型也存在著明顯的局限性，可能會(huì)生成不準(zhǔn)確的信息，并強(qiáng)化現(xiàn)有的偏見(jiàn)。然而，許多科學(xué)家在學(xué)術(shù)寫(xiě)作中使用它們。那么，在學(xué)術(shù)文獻(xiàn)中，這種大語(yǔ)言模型的使用究竟有多普遍呢？
為了回答這個(gè)問(wèn)題，研究團(tuán)隊(duì)在生物醫(yī)學(xué)領(lǐng)域進(jìn)行了探索，他們提出了一種無(wú)偏見(jiàn)的大規(guī)模方法：首先分析了 2010-2024 年之間 PubMed 收錄的超過(guò) 1500 萬(wàn)篇生物醫(yī)學(xué)論文的摘要中的詞匯變化，并展示了大語(yǔ)言模型的出現(xiàn)如何導(dǎo)致某些風(fēng)格的詞匯的頻率突然增加。這種超額詞匯分析表明，2024 年的生物醫(yī)學(xué)論文摘要中，至少有 13.5% 是使用大語(yǔ)言模型處理過(guò)的。這一比例在不同學(xué)科、國(guó)家和期刊之間存在差異，在某些子語(yǔ)料庫(kù)中甚至達(dá)到了 40%。這項(xiàng)研究表明，大語(yǔ)言模型對(duì)生物醫(yī)學(xué)研究中的科學(xué)寫(xiě)作產(chǎn)生了前所未有的影響，其影響甚至超過(guò)了諸如 COVID-19 這樣的重大世界事件。
此前已有許多研究團(tuán)隊(duì)嘗試評(píng)估大語(yǔ)言模型（LLM）對(duì)學(xué)術(shù)寫(xiě)作的影響，但這頗具難度，因?yàn)榇蠖鄶?shù)使用者不會(huì)披露這些做法。因此，通常的評(píng)估方法是訓(xùn)練模型來(lái)識(shí)別人類(lèi)生成的文本和大語(yǔ)言模型生成的文本之間的差異，然后利用這些差異來(lái)評(píng)估論文。但目前尚不清楚這些訓(xùn)練出來(lái)的模型是究竟是如何區(qū)分這兩種類(lèi)型的文本的，而且訓(xùn)練數(shù)據(jù)集也不總是能代表大語(yǔ)言模型生成文本的最新趨勢(shì)。
德國(guó)圖賓根大學(xué)的數(shù)據(jù)科學(xué)家 Dmitry Kobak 受到新冠大流行期間"超額死亡率"相關(guān)研究的啟發(fā)，提出了一種"超額詞匯"的方法，來(lái)檢索論文摘要中在 2022 年 11 月 ChatGPT 發(fā)布之后出現(xiàn)頻率高于預(yù)期的詞匯。
他們統(tǒng)計(jì)并分析了 2010-2024 年之間 PubMed 收錄的超過(guò) 1500 萬(wàn)篇生物醫(yī)學(xué)論文的摘要中的詞匯變化，發(fā)現(xiàn)有 454 個(gè)詞匯在 2024 年出現(xiàn)的頻率遠(yuǎn)高于 2010 年以來(lái)的任何一年，而且，這些詞匯大多是與研究?jī)?nèi)容無(wú)關(guān)的"風(fēng)格"詞，且多為動(dòng)詞和形容詞。其中一些詞很常見(jiàn)，比如"findings"（發(fā)現(xiàn)）、"crucial"（關(guān)鍵）和"potential"（潛在），而另一些則較為少見(jiàn)，包括"delves"（探究）和"showcasing"（展示）。2024 年下半年出現(xiàn)的超額詞匯還包括"heighten"（提高）、"hinder"（阻礙），以及諸如"unparalleled"（無(wú)與倫比的）和"invaluable"（無(wú)價(jià)的）之類(lèi)的最 高級(jí)形容詞。
科學(xué)術(shù)語(yǔ)的變化是隨著時(shí)間推移而發(fā)生的--包括伴隨重大事件而出現(xiàn)的顯著變化，比如始于 2020 年的新冠疫情。2021 年新增了 190 個(gè)詞匯，它們大多是與研究?jī)?nèi)容相關(guān)的名詞，比如"口罩"（mask）。但自從 ChatGPT 等大語(yǔ)言模型流行以來(lái)所發(fā)生的詞匯變化更為顯著，且主要是詞匯風(fēng)格上變化的。
該研究還顯示，論文寫(xiě)作中使用大語(yǔ)言模型輔助的比例，在不同學(xué)科、國(guó)家和期刊之間存在差異，例如，在中國(guó)、韓國(guó)等國(guó)家；在計(jì)算機(jī)和生物信息學(xué)等領(lǐng)域；以及 MDPI、Frontiers 系列期刊，超過(guò)五分之一的論文摘要使用了大語(yǔ)言模型輔助寫(xiě)作。
實(shí)際上，大語(yǔ)言模型輔助寫(xiě)作的比例可能比這篇論文中發(fā)現(xiàn)的還要高，今年 2 月份發(fā)表在預(yù)印本平臺(tái) arXiv 的一項(xiàng)研究顯示，AI 生成文本中的一個(gè)標(biāo)志性詞匯"delves"（探究）在 2024 年底開(kāi)始變得不那么常見(jiàn)了，這可能是因?yàn)樵S多論文作者知道這個(gè)詞匯被作為 AI 生成文本的標(biāo)志性詞匯，于是在寫(xiě)作中刪除了這些詞匯。這意味著，隨著寫(xiě)作者的不斷適應(yīng)和調(diào)整，評(píng)估 AI 對(duì)學(xué)術(shù)寫(xiě)作影響的變得越來(lái)越困難。
需要指出的是，在學(xué)術(shù)寫(xiě)作中使用 AI 并非是不合理的，利用 AI 進(jìn)行文本潤(rùn)色或輔助翻譯顯然是合理的用途，但在缺乏監(jiān)督的情況下，使用 AI 生成大篇幅的文本，則可能涉嫌科研誠(chéng)信問(wèn)題。
論文鏈接：https://www.science.org/doi/10.1126/sciadv.adt3813
合作咨詢(xún)
肖女士
021-33392297
Kelly.Xiao@imsinoexpo.com
2006-2025 上海博華國(guó)際展覽有限公司版權(quán)所有（保留一切權(quán)利）
滬ICP備05034851號(hào)-57
