OpenAI的聊天機器人ChatGPT可謂是功能強大，引起了人們對人工智能的極大興趣和投資。但該公司的CEO薩姆·奧爾特曼(Sam Altman)認為，現有研究策略已經(jīng)失效，未來(lái)的AI進(jìn)步需要新的思路。
(相關(guān)資料圖)
近年來(lái)，OpenAI通過(guò)將現有的機器學(xué)習算法擴展到以前無(wú)法想象的規模，在處理語(yǔ)言方面取得了一系列令人印象深刻的進(jìn)步。其最近開(kāi)發(fā)的項目是GPT-4，據稱(chēng)已經(jīng)使用數萬(wàn)億字的文本和數千個(gè)強大的計算機芯片進(jìn)行訓練，耗資超過(guò)1億美元。
但是，奧爾特曼表示，未來(lái)AI的進(jìn)步不再依賴(lài)于將模型變得更大。在麻省理工學(xué)院的一次活動(dòng)上，他說(shuō)：“我認為，我們正處在一個(gè)時(shí)代的盡頭。在（即將過(guò)去的）這個(gè)時(shí)代，模型變得越來(lái)越大?，F在，我們會(huì )在其他方面讓它們變得更好?！?/p>
奧爾特曼的表態(tài)意味著(zhù)，開(kāi)發(fā)和部署新AI算法的競賽出現了出人意料的轉折。自去年11月推出ChatGPT以來(lái)，微軟就開(kāi)始利用這一底層技術(shù)在其必應搜索引擎中添加了聊天機器人，谷歌也推出了名為Bard的競爭對手。許多人都迫不及待地嘗試使用這種新型聊天機器人來(lái)幫助完成工作或個(gè)人任務(wù)。
與此同時(shí)，許多資金充足的初創(chuàng )公司，包括Anthropic、AI21、Cohere和Character.AI等，正在投入大量資源用于構建更大的算法，以努力趕上OpenAI的腳步。ChatGPT的初始版本是基于GPT-3構建的，但用戶(hù)現在也可以訪(fǎng)問(wèn)功能更強大的GPT-4支持的版本。
奧爾特曼的陳述也暗示，采用將模型擴大并提供更多數據進(jìn)行訓練的策略后，GPT-4可能是OpenAI最后一項重大成果。不過(guò)，他沒(méi)有透露任何可能替代當前方法的研究策略或技術(shù)。在描述GPT-4的論文中，OpenAI表示，其估計表明，擴大模型規模的回報正在減少。奧爾特曼說(shuō)，該公司可以建立的數據中心數量以及建設這些中心的速度也都受到物理限制。
Cohere的聯(lián)合創(chuàng )始人尼克·弗羅斯特（Nick Frosst）曾在谷歌從事人工智能研究，他表示，奧爾特曼所說(shuō)的“不斷擴大模型規模并不是無(wú)限制的有效解決方案”是正確的。他認為，針對GPT-4和其他transformers類(lèi)型（編輯組：transformers直譯為轉換器，而GPT是Generative pre-trained transformers的簡(jiǎn)寫(xiě)，意思是基于轉換器的生成式預訓練模型）的機器學(xué)習模型，進(jìn)展不再只是靠擴大規模。
弗羅斯特補充說(shuō)：“有很多方法可以讓transformers變得更好、更有用，而且很多方法都不涉及給模型增加參數。新的人工智能模型設計或架構，以及基于人類(lèi)反饋的進(jìn)一步調整，都是許多研究人員已經(jīng)在探索的前進(jìn)方向?！?/p>
在OpenAI的語(yǔ)言算法家族中，每個(gè)版本都由人工神經(jīng)網(wǎng)絡(luò )組成，這個(gè)軟件的設計靈感來(lái)自于神經(jīng)元之間相互作用的方式，經(jīng)過(guò)訓練后，它可以預測應該跟隨在給定文本字符串后面的單詞。
2019年，OpenAI發(fā)布了其第一個(gè)語(yǔ)言模型GPT-2。它最多涉及到15億個(gè)參數，這一指標能夠衡量神經(jīng)元之間可調整的連接數量的大小。這個(gè)數字非常大，這在某種程度上要歸功于OpenAI研究人員的發(fā)現，擴大規模使模型變得更加連貫。
2020年，OpenAI推出GPT-2的后繼者GPT-3，該模型規模更大，參數高達1750億個(gè)。GPT-3在生成詩(shī)歌、電子郵件和其他文本方面具備廣泛能力，這令其他公司和研究機構相信，他們可以將自己的AI模型擴展到與GPT-3類(lèi)似甚至更大的規模。
去年11月，ChatGPT首次亮相后，表情包制造者和科技專(zhuān)家猜測，當GPT-4問(wèn)世時(shí)，它將是個(gè)擁有更多參數、更為復雜的模型。然而，當OpenAI最終宣布新的人工智能模型時(shí)，該公司沒(méi)有透露它有多大，也許是因為規模不再是唯一重要的因素。在麻省理工學(xué)院的活動(dòng)上，奧爾特曼被問(wèn)及GPT-4的培訓成本是否有1億美元，他回答說(shuō)：“不止如此?！?/p>
盡管OpenAI對GPT-4的規模和內部工作原理保密，但很可能它已經(jīng)不再僅僅依賴(lài)于擴大規模來(lái)提高性能。有一種可能性是，該公司使用了名為“強化學(xué)習與人類(lèi)反饋”的方法，用于增強ChatGPT的能力，包括讓人類(lèi)判斷模型答案的質(zhì)量，以引導它提供更有可能被判斷為高質(zhì)量的答案。
GPT-4的非凡能力讓許多專(zhuān)家感到震驚，并引發(fā)了關(guān)于A(yíng)I改變經(jīng)濟潛力的辯論，以及其可能傳播虛假信息和制造失業(yè)的擔憂(yōu)。許多企業(yè)家和AI專(zhuān)家最近簽署了一封公開(kāi)信，呼吁暫停開(kāi)發(fā)比GPT-4更強大的模型6個(gè)月，其中包括特斯拉首席執行官埃隆·馬斯克。
在麻省理工學(xué)院的活動(dòng)中，奧爾特曼證實(shí)，他的公司目前沒(méi)有開(kāi)發(fā)GPT-5。他補充說(shuō)：“這封公開(kāi)信的早期版本聲稱(chēng)OpenAI正在訓練GPT-5。實(shí)際上我們并沒(méi)有這樣做，短期內也不會(huì )?！?/p>
責任編輯：李楠
分享到：版權聲明：凡注明來(lái)源“流媒體網(wǎng)”的文章，版權均屬流媒體網(wǎng)所有，轉載需注明出處。非本站出處的文章為轉載，觀(guān)點(diǎn)供業(yè)內參考，不代表本站觀(guān)點(diǎn)。文中圖片均來(lái)源于網(wǎng)絡(luò )收集整理，僅供學(xué)習交流，版權歸原作者所有。如涉及侵權，請及時(shí)聯(lián)系我們刪除!關(guān)鍵詞：
