本文作者:李丹
來源:硬AI
以ChatGPT掀起這輪AI應(yīng)用熱潮的OpenAI正在用行動證明,在基于人類反饋的強(qiáng)化學(xué)習(xí)(RLHF)領(lǐng)域,它也是先行者。
美東時間6月27日周四,OpenAI公布,其研究人員訓(xùn)練了一個基于 GPT-4 的模型,它被稱為 CriticGPT,用于捕捉ChatGPT 代碼輸出中的錯誤。簡單來說就是,CriticGPT讓人能用 GPT-4 查找 GPT-4 的錯誤。它可以寫出使用者對ChatGPT響應(yīng)結(jié)果的批評評論,從而幫助人類訓(xùn)練者在RLHF期間發(fā)現(xiàn)錯誤。
OpenAI發(fā)現(xiàn),如果通過CriticGPT獲得幫助審查 ChatGPT編寫的代碼,人類訓(xùn)練師的審查效果比沒有獲得幫助的人強(qiáng)60%。OpenAI稱,正著手將類似 CriticGPT 的模型集成到旗下 RLHF 標(biāo)記管道中,為自己的訓(xùn)練師提供明確的AI幫助。
OpenAI稱,因?yàn)闆]有更好的工具,所以人們目前難以評估高級的AI系統(tǒng)的表現(xiàn)。而CriticGPT意味著,OpenAI向能夠評估高級AI系統(tǒng)輸出的目標(biāo)邁進(jìn)了一步。,
OpenAI舉了一個例子,如下圖所示,對ChatGPT提出一個用 Python 編寫指定函數(shù)的任務(wù),對于ChatGPT根據(jù)要求提供的代碼,CriticGPT點(diǎn)評了其中一條指令,提議換成效果更好的。
OpenAI稱,CriticGPT 的建議并不是全都正確無誤,但OpenAI的人員發(fā)現(xiàn),相比沒有這種AI的幫助,有了它,訓(xùn)練師可以發(fā)現(xiàn)更多模型編寫答案的問題。
此外,當(dāng)人們使用CriticGPT 時,這種AI模型會增強(qiáng)他們的技能,從而得出的批評結(jié)論比單單人類訓(xùn)練師做的更全面,并且比AI模型單獨(dú)工作時產(chǎn)生的幻覺錯誤更少。
在OpenAI的實(shí)驗(yàn)中,在60%以上的時間里,隨機(jī)選擇的訓(xùn)練師都更喜歡來自人類與CriticGPT 合作的批評結(jié)論,而不是來自沒有CriticGPT協(xié)助的人類訓(xùn)練師批評。
OpenAI同時提到了目前開發(fā)CriticGPT的四點(diǎn)局限。其中之一是,OpenAI用 ChatGPT 的簡短答案訓(xùn)練CriticGPT,因此未來需要發(fā)掘能幫助訓(xùn)練師理解冗長且復(fù)雜任務(wù)的方法。
第二點(diǎn)是,模型仍然會產(chǎn)生幻覺,有時訓(xùn)練師在看到這些幻覺后會犯下標(biāo)記錯誤。第三點(diǎn)是,有時現(xiàn)實(shí)世界中的錯誤可能分散在答案的許多部分之中,OpenAI目前的工作重點(diǎn)是讓模型指出一處的錯誤,未來還需要解決分散在不同位置的錯誤。
第四點(diǎn),OpenAI指出,CriticGPT 只能提供有限的幫助:如果ChatGPT面對的任務(wù)或響應(yīng)極其復(fù)雜,即使是有模型幫助的專家也可能無法正確評估。
最后,OpenAI表示,為了協(xié)調(diào)日益復(fù)雜的 AI 系統(tǒng),人們需要更好的工具。在對 CriticGPT 的研究中,OpenAI發(fā)現(xiàn),將 RLHF 應(yīng)用于 GPT-4 有望幫助人類為 GPT-4 生成更好的 RLHF 數(shù)據(jù)。OpenAI計(jì)劃,進(jìn)一步擴(kuò)大這項(xiàng)工作,并將其付諸實(shí)踐。
OpenAI在原名推特的社交媒體X上公布了新模型CriticGPT后,一條點(diǎn)贊超1萬的網(wǎng)友評論稱,自我改進(jìn)已經(jīng)開始了。
另一條點(diǎn)贊上萬的熱截取了OpenAI的相關(guān)研究文章結(jié)論,其中提到,在智能方面,大語言模型(LLM)和LLM的批評都只會繼續(xù)改進(jìn),而人類的智能不會,這條評論感嘆,真是悲觀。
還有網(wǎng)友引用了漫威超級英雄電影《復(fù)仇者聯(lián)盟》中滅霸的一句臺詞,點(diǎn)評OpenAI所說的用GPT-4找GPT-4的錯誤:“我用寶石摧毀了寶石?!?/p>
發(fā)表評論
2024-06-29 15:54:11
2024-06-29 15:54:11
2024-06-29 15:54:11
2024-06-29 15:54:11