ChatGPT 在 2022 年底廣泛使用後，許多研究人員開始告訴他們的同事，他們可以利用這些新的人工智能工具完成更多工作。與此同時，期刊編輯報告稱投稿順利，但似乎並沒有增加多少科學價值。
康奈爾大學的一項新研究表明，這些非正式報告表明科學家準備手稿的方式發生了更廣泛的變化。研究人員發現像 ChatGPT 這樣的大型語言模型 (LLM) 可以提高紙張生產率。它對於非英語母語的科學家特別有用。但人工智能編寫的文本數量不斷增加，也使得關鍵決策者更難區分低價值內容之外的有意義的工作。
“這是許多科學領域中非常普遍的模型。從物理科學和計算機到生物科學和社會科學，”康奈爾大學安·S·鮑爾斯計算與信息科學學院信息科學助理教授 Yian Yin 說。 “我們當前的生態系統發生了重大變化，值得認真考慮。對於那些決定我們應該支持和資助哪些科學的人來說尤其如此。”
研究結果發表在 12 月 18 日發表於《大規模語言模型時代的科學生產》的文章中 科學–
康奈爾大學團隊如何衡量研究報告中人工智能的使用
為了研究 LLM 如何影響科學出版，Yin 的團隊收集了 2018 年 1 月至 2024 年 6 月在三個主要預印本平台上發布的超過 200 萬篇文章。這些網站包括 arXiv、bioRxiv 和代表物理科學領域的社會科學研究網絡 (SSRN)。生命科學和社會科學，並主持尚未經過同行評審的研究。
研究人員使用了 2023 年之前發布的文件，這些文件被認為是由人類編寫的。並將其與基於該比較的人工智能生成的文本進行比較。他們創建了一個模型，旨在標記可能在法學碩士幫助下撰寫的論文。他們使用這個檢測器來估計哪些作者可能使用法學碩士來寫作，跟踪這些科學家在該工具實施之前和之後發布的文章數量。然後檢查該論文後來是否被科學期刊接受。
生產力大大提高，特別是對於非英語母語人士而言。
結果表明，使用法學碩士可以顯著提高生產力。在 arXiv 中，標記為使用 LLM 的科學家發表的論文比不使用 AI 的科學家多出三分之一。在 bioRxiv 和 SSRN 中，增幅超過 50%。
以英語作為第二語言寫作的科學家的增幅最大。他們在用外語交流技術工作時面臨著額外的障礙。例如，與未使用該技術的類似研究人員相比，亞洲機構的研究人員在檢測器建議他們開始使用 LLM 後發表的文章數量增加了 43.0% 至 89.3%。根據預印本網站的情況，尹預計這些優勢最終將把全球科學生產轉移到受語言障礙阻礙的地區。
人工智能搜索可能會擴展科學家的說法
該研究還指出了文獻檢索和引文生成過程中可能帶來的好處。當研究人員尋找相關工作來引用時，Bing Chat 是第一個廣泛採用的人工智能搜索引擎。與傳統搜索引擎相比，它在查找新文檔和相關書籍方面做得更好。相反，傳統工具傾向於返回較舊的、引用較多的源。
“攻讀法學碩士學位的人正在接觸更廣泛的知識。這可能會激發更多的創造力，”第一作者、信息科學博士生 Keigo Kusumegi 說。他計劃未來進行研究，以測試人工智能的使用是否與更具創新性和跨學科的科學相關。
審查和評估研究的新問題
雖然法學碩士可以幫助個人創作出更多原創作品，但同樣的工具也會讓其他人更難判斷什麼真正構成了強大的科學。在人類撰寫的研究中 更清晰但更複雜的寫作 這包括更長的句子和更大的單詞。這通常是高質量研究的有用標誌。在 arXiv、bioRxiv 和 SSRN 中，更有可能由人類撰寫且在寫作複雜度測試中得分較高的文章也最有可能被期刊接受。
對於可能在法學碩士幫助下編寫的文檔，格式看起來有所不同，儘管這些帶有人工智能標記的文檔具有很高的寫作複雜性分數。但被期刊接受的可能性較小。研究人員將此解釋為一個跡象，表明精緻的語言可能不再可靠地反映科學價值觀。儘管其中一些研究寫得很好，但審稿人可能會拒絕它們。
尹說，寫作質量和研究質量之間的差距可能會產生嚴重後果。編輯和審稿人可能會更加努力地確定最有價值的作品。與此同時，大學和資助機構可能會發現原始出版物數量不再反映科學貢獻。
生成人工智能的研究下一步是什麼？
研究人員強調，這些發現是觀察性的。下一步，他們希望使用對照試驗等方法來測試因果關係。其中包括一個設計，其中一些科學家被隨機分配使用法學碩士，而其他科學家則不使用。
Yin 將於 2026 年 3 月 3 日至 5 日在伊薩卡校區組織一場研討會。該活動將探討生成式人工智能如何改變研究。科學家和政策制定者如何指導這些變化？
隨著人工智能在寫作、編碼甚至創意生成中變得越來越普遍，尹預計人工智能的影響力將會擴大，有效地將這些系統轉變為一種協作科學家。他認為政策制定者應該更新法規以跟上快速發展的技術。
“現在的問題不是，你用過人工智能了嗎？問題是，你到底如何使用人工智能？它有用還是沒用？”
研究作者和資助
共同作者包括計算機科學博士生楊新宇； Paul Ginsparg，康奈爾鮑爾斯文理學院信息科學和物理學教授，也是 arXiv 的創始人；以及來自加州大學伯克利分校的 Mathijs de Vaan 和 Toby Stuart。
該研究得到了國家科學基金會的支持。
