【2024年新澳門開獎結(jié)果】
【澳門管家婆一碼一肖一特一中】
【澳門六下彩246天天彩944cc二四六天天彩之看圖猜碼】
【澳門管家婆2024精準(zhǔn)一肖一碼】
【澳門管家婆一碼三中三】
【管家婆2024正版資料大全23】
【2024管家婆一碼一肖資料太全】
【馬會傳真澳門免費(fèi)資料老玩家】
【澳門特馬今晚開獎】
【2024年香港今晚特馬開什么】
【新澳門6合資料免費(fèi)大全】
【白小姐三肖中特開獎結(jié)果】
【紅姐心水高手論壇資料大全】
【2024澳門管家婆資料正版大全澳門澳門風(fēng)云9494】
【港澳六合】
【澳門天天的資料】
【2024澳門資料大全免費(fèi)12月】
【白小姐一】
【2024香港正版免費(fèi)資料下載】
【2024澳門資料正版香港王中王】
【澳門碼頭詩資料】
【2024年澳門一肖一碼19期準(zhǔn)免費(fèi)資料】
【香港澳門開奘結(jié)果】
【118彩圖庫免費(fèi)資料大全】
【澳門碼管家婆】

本文作者:李丹

來源:硬AI

以ChatGPT掀起這輪AI應(yīng)用熱潮的OpenAI正在用行動證明,在基于人類反饋的強(qiáng)化學(xué)習(xí)(RLHF)領(lǐng)域,它也是先行者。

美東時間6月27日周四,OpenAI公布,其研究人員訓(xùn)練了一個基于 GPT-4 的模型,它被稱為 CriticGPT,用于捕捉ChatGPT 代碼輸出中的錯誤。簡單來說就是,CriticGPT讓人能用 GPT-4 查找 GPT-4 的錯誤。它可以寫出使用者對ChatGPT響應(yīng)結(jié)果的批評評論,從而幫助人類訓(xùn)練者在RLHF期間發(fā)現(xiàn)錯誤。

OpenAI發(fā)現(xiàn),如果通過CriticGPT獲得幫助審查 ChatGPT編寫的代碼,人類訓(xùn)練師的審查效果比沒有獲得幫助的人強(qiáng)60%。OpenAI稱,正著手將類似 CriticGPT 的模型集成到旗下 RLHF 標(biāo)記管道中,為自己的訓(xùn)練師提供明確的AI幫助。

OpenAI稱,因?yàn)闆]有更好的工具,所以人們目前難以評估高級的AI系統(tǒng)的表現(xiàn)。而CriticGPT意味著,OpenAI向能夠評估高級AI系統(tǒng)輸出的目標(biāo)邁進(jìn)了一步。,

OpenAI舉了一個例子,如下圖所示,對ChatGPT提出一個用 Python 編寫指定函數(shù)的任務(wù),對于ChatGPT根據(jù)要求提供的代碼,CriticGPT點(diǎn)評了其中一條指令,提議換成效果更好的。


OpenAI稱,CriticGPT 的建議并不是全都正確無誤,但OpenAI的人員發(fā)現(xiàn),相比沒有這種AI的幫助,有了它,訓(xùn)練師可以發(fā)現(xiàn)更多模型編寫答案的問題。

此外,當(dāng)人們使用CriticGPT 時,這種AI模型會增強(qiáng)他們的技能,從而得出的批評結(jié)論比單單人類訓(xùn)練師做的更全面,并且比AI模型單獨(dú)工作時產(chǎn)生的幻覺錯誤更少。

在OpenAI的實(shí)驗(yàn)中,在60%以上的時間里,隨機(jī)選擇的訓(xùn)練師都更喜歡來自人類與CriticGPT 合作的批評結(jié)論,而不是來自沒有CriticGPT協(xié)助的人類訓(xùn)練師批評。


OpenAI同時提到了目前開發(fā)CriticGPT的四點(diǎn)局限。其中之一是,OpenAI用 ChatGPT 的簡短答案訓(xùn)練CriticGPT,因此未來需要發(fā)掘能幫助訓(xùn)練師理解冗長且復(fù)雜任務(wù)的方法。

第二點(diǎn)是,模型仍然會產(chǎn)生幻覺,有時訓(xùn)練師在看到這些幻覺后會犯下標(biāo)記錯誤。第三點(diǎn)是,有時現(xiàn)實(shí)世界中的錯誤可能分散在答案的許多部分之中,OpenAI目前的工作重點(diǎn)是讓模型指出一處的錯誤,未來還需要解決分散在不同位置的錯誤。

第四點(diǎn),OpenAI指出,CriticGPT 只能提供有限的幫助:如果ChatGPT面對的任務(wù)或響應(yīng)極其復(fù)雜,即使是有模型幫助的專家也可能無法正確評估。

最后,OpenAI表示,為了協(xié)調(diào)日益復(fù)雜的 AI 系統(tǒng),人們需要更好的工具。在對 CriticGPT 的研究中,OpenAI發(fā)現(xiàn),將 RLHF 應(yīng)用于 GPT-4 有望幫助人類為 GPT-4 生成更好的 RLHF 數(shù)據(jù)。OpenAI計(jì)劃,進(jìn)一步擴(kuò)大這項(xiàng)工作,并將其付諸實(shí)踐。

OpenAI在原名推特的社交媒體X上公布了新模型CriticGPT后,一條點(diǎn)贊超1萬的網(wǎng)友評論稱,自我改進(jìn)已經(jīng)開始了。

另一條點(diǎn)贊上萬的熱截取了OpenAI的相關(guān)研究文章結(jié)論,其中提到,在智能方面,大語言模型(LLM)和LLM的批評都只會繼續(xù)改進(jìn),而人類的智能不會,這條評論感嘆,真是悲觀。


還有網(wǎng)友引用了漫威超級英雄電影《復(fù)仇者聯(lián)盟》中滅霸的一句臺詞,點(diǎn)評OpenAI所說的用GPT-4找GPT-4的錯誤:“我用寶石摧毀了寶石?!?/p>