MACAU 澳门频道

垃圾內容削弱推理能力

力報 2026-10-26

垃圾內容削弱推理能力

研究人員以四款大型語言模型進行測試,發現模型若持續用低質、短篇且以吸引點擊為主的網絡內容訓練,在推理、長文本理解、安全及行為表現上均可能退步。研究團隊把這種現象稱為AI「腦腐」,並指出即使再以較高質素資料微調,模型表現也難完全回到基準;結果顯示訓練資料品質會影響模型能力。

這項研究由德州農工大學、德州大學奧斯汀分校及普渡大學研究人員共同進行,論文已獲2026年語言模型會議接納。研究團隊借用「腦腐」一詞形容長期接觸低質網絡資訊後出現的認知退化,並測試大型語言模型是否會受類似資料影響。

研究人員以2010年收集的100萬則公開Twitter貼文建立訓練資料集,再依互動量、篇幅及文字內容分類。高互動、短篇或帶有誇張標題、未經支持的說法和煽動語氣的貼文,被列作低質內容;互動較少而篇幅較長的貼文,則作為對照資料。

團隊用不同比例的低質和對照資料,對Llama 3 8B Instruct、Qwen2.5 7B Instruct、Qwen2.5 0.5B Instruct及Qwen3 4B Instruct進行持續預訓練,之後以相同方式微調,再比較推理、記憶、長文本理解、倫理和人格傾向等基準測試。

推理能力下降

測試結果顯示,低質資料比例增加時,模型在部分推理及長文本理解測試的分數下降。研究團隊在論文舉例,某項推理挑戰測試的分數由低質資料比例為0%時的約75分,降至100%時的約57分;長文本測試亦出現下滑。結果在不同模型和資料分類方法中各有差異。

研究人員把常見錯誤概括為「跳過思考步驟」:模型更容易省略推理中間環節,直接給出答案。團隊亦測試安全和人格表現,發現部分模型在低質資料訓練後,對倫理問題的回應有所改變。研究者提醒,這些測試屬模型訓練實驗,不能直接推論所有商業AI系統都已出現相同變化。

研究還觀察到,資料受歡迎程度對部分推理任務的影響較大,而篇幅長短對記憶和理解任務的作用較明顯。研究者指出,社交媒體上的高互動貼文不一定全屬低質內容,實驗使用的是按研究設計篩選的資料,分類方式會影響結果。

在補充測試中,研究團隊以較高質素資料繼續預訓練,或增加指令微調,模型能力有所改善,但未完全回復原先基準。研究將此描述為難以消除的持續影響,並非證明模型在任何情況下都不能修復;後續仍需測試其他資料來源和更大型模型。(編輯部)

点亮“海星之愿”,中国太保以“保险+公益”诠释金融向善

2026-10-26

190间板房全部搭建完成 西藏巴青玛如乡2村群众陆续入住

2026-10-26

金观平:“四个坚持”促科技和产业双向奔赴

2026-10-26

汇智聚力,共谋改革完善全球治理之道——2026全球治理论坛(雄安)综述

2026-10-26

新华时评·广交会观察|在相互赋能中更好实现互利共赢

2026-10-26

中国生物多样性保护实践为世界提供宝贵启示

2026-10-26

今年前三季度国内居民出游人次53.07亿 同比增长6.2%

2026-10-26

辽宁沈阳市浑南区发生2.6级地震,震源深度10千米

2026-10-26

中国人保:张忠民担任非执行董事的任职资格获核准

2026-10-26

筑牢食品安全根基 守护粮食安全践行节约风尚

2026-10-26

把握智能技术新机遇 完善标准必要专利生态治理

2026-10-26

港航周二0時激賞!曼谷來回$384元起 澳洲低至$800往返(附連結)

2026-10-26

(多片多圖) 中環怡和大廈吊船下墜 兩工人被困高空半天吊

2026-10-26

特色农产品喜获丰收 助力乡村全面振兴

2026-10-26

我国工业降碳水平持续提升

2026-10-26

前三季度1.6万个老旧小区“焕新”

2026-10-26

长三角区域货物贸易进出口连续19个月保持增长

2026-10-26

前三季度我国交通运输主要指标保持增长

2026-10-26

在深圳看见未来 | 深圳,共建共享未来

2026-10-26

事发多日 日本政府首次回应日企活动引发蒙古国草原火灾

2026-10-26

衡港高铁正式进入运行试验阶段

2026-10-26

国家能源局:我国风光累计装机容量突破20亿千瓦

2026-10-26

二十届中央第八轮巡视完成进驻

2026-10-26

明亚保险经纪上海分公司朱某被罚1.2万元:欺骗保险人、投保人、被保险人或者受益人

2026-10-26

分享文章

服务热线