隨著人工智能大模型的不斷發展,如何讓其在“難”的問題上深入思考,而不是對所有問題“想個不停”?記者5月29日從中國科學院自動化研究所獲悉,該所聯合鵬城實驗室提出了一種高效推理策略AutoThink,可讓大模型實現自主切換思考模式,避免“過度思考”。
“當前,越來越多的大模型開始具備‘深度思考能力’。”中國科學院自動化研究所研究員張啟超說,模型在回答問題之前要先生成一整段包含反復自我反思、自我驗證的推理過程,然后再給出答案。
張啟超表示,這一思考模式顯著提升了大模型解決復雜問題的能力,但同時也帶來了“過度思考”的問題,即在處理簡單任務時也會生成冗余的思考過程。
“比如使用者對大模型提問‘2+3等于幾’,大模型可能會從自然數定義講起,列出加法交換律,甚至反復確認,最后才輸出答案是5。”張啟超說,這種不必要的“過度思考”現象在推理模型中廣泛存在。
針對這一問題,AutoThink可賦予推理模型根據題目難度自主切換思考模式的能力,即通過所設計的提示詞和多階段強化學習,引導其自主決定是否進行深度思考。
張啟超介紹,AutoThink提供了一種簡單而有效的推理新范式——通過省略號提示配合三階段強化學習,引導大模型不再“逢題必深思熟慮”,而是根據問題難度自主決定“是否思考”“思考多少”。在多個數學數據集上,AutoThink實現了準確率與效率平衡,既提升性能又節省算力,展示出較強的適應性和實用性。
據悉,AutoThink已集成于一站式智能科研平臺ScienceOne,并將用于訓練ScienceOne的基座大模型S1-Base。研發團隊表示,讓大模型“更聰明地思考、更簡潔地表達”,是未來科學基礎大模型演進的重要方向。
隨著人工智能大模型的不斷發展,如何讓其在“難”的問題上深入思考,而不是對所有問題“想個不停”?記者5月29日從中國科學院自動化研究所獲悉,該所聯合鵬城實驗室提出了一種高效推理策略AutoThink,可讓大模型實現自主切換思考模式,避免“過度思考”。
“當前,越來越多的大模型開始具備‘深度思考能力’。”中國科學院自動化研究所研究員張啟超說,模型在回答問題之前要先生成一整段包含反復自我反思、自我驗證的推理過程,然后再給出答案。
張啟超表示,這一思考模式顯著提升了大模型解決復雜問題的能力,但同時也帶來了“過度思考”的問題,即在處理簡單任務時也會生成冗余的思考過程。
“比如使用者對大模型提問‘2+3等于幾’,大模型可能會從自然數定義講起,列出加法交換律,甚至反復確認,最后才輸出答案是5。”張啟超說,這種不必要的“過度思考”現象在推理模型中廣泛存在。
針對這一問題,AutoThink可賦予推理模型根據題目難度自主切換思考模式的能力,即通過所設計的提示詞和多階段強化學習,引導其自主決定是否進行深度思考。
張啟超介紹,AutoThink提供了一種簡單而有效的推理新范式——通過省略號提示配合三階段強化學習,引導大模型不再“逢題必深思熟慮”,而是根據問題難度自主決定“是否思考”“思考多少”。在多個數學數據集上,AutoThink實現了準確率與效率平衡,既提升性能又節省算力,展示出較強的適應性和實用性。
據悉,AutoThink已集成于一站式智能科研平臺ScienceOne,并將用于訓練ScienceOne的基座大模型S1-Base。研發團隊表示,讓大模型“更聰明地思考、更簡潔地表達”,是未來科學基礎大模型演進的重要方向。
本文鏈接:http://m.svtrjb.com/v-146-957.html我國科學家提出高效推理策略 可避免大模型“過度思考”
相關文章:
實用的人生感言語錄摘錄89條10-19
現代生活哲理句子10-05
哲理的句子80條07-20
幸福的名言警句07-17
科室年控煙工作計劃08-30
汽車銷售總結心得08-16
環衛工作計劃07-26
三年級期中考試心得03-27
簡單的簡歷12-07
邀請函回復11-02
學生勞動心得體會10-17
我想對爸爸二年級作文06-23
吃自己做的蛋糕12-17
賣書活動作文12-05
人物的作文300字09-21
華南理工大學什么專業好?02-24
江蘇師范大學算名校嗎11-27
電子專業到底學什么?11-02
新學期主題班會07-23
文言文《墨子怒耕柱子》閱讀答案附譯文12-23
成語典故12-23
高考安全事故應急預案05-26
安全用電應急預案01-07
中小學實驗室安全檢查自查報告10-19