【聚看點(diǎn)】黃仁勛對談OpenAI聯(lián)創(chuàng)：GPT-4推理能力還沒達(dá)到預(yù)期
“早在2015年和2016年，我們根本不敢想象ChatGPT能達(dá)到現(xiàn)在的程度。”O(jiān)penAI聯(lián)合創(chuàng)始人及首席科學(xué)家Ilya Sutskever，在接受英偉達(dá)創(chuàng)始人兼CEO黃仁勛“采訪”時這么說道。
這場對話在多模態(tài)模型GPT-4推出的第二天，當(dāng)?shù)貢r間3月22日，英偉達(dá)官方發(fā)布了完整的談話視頻。在接近一個小時的交談中，黃仁勛和Sutskever談到了聊天機(jī)器人ChatGPT的開發(fā)歷程、GPT-4的進(jìn)步，以及對AI(人工智能)行業(yè)的展望。
(資料圖)
談ChatGPT:工作原理像閱讀推理小說
ChatGPT是OpenAI公司于去年11月發(fā)布的聊天機(jī)器人，問世不到半年，便成為最流行的計算機(jī)應(yīng)用程序之一，還帶動了各大科技公司在生成式AI領(lǐng)域展開角逐。
黃仁勛多次提到“AI行業(yè)的iPhone時刻已經(jīng)到來”，但作為OpenAI的創(chuàng)始人之一，Sutskever則表示，2016年左右，他們根本不敢想象ChatGPT能達(dá)到現(xiàn)在的程度。
“當(dāng)時我們的思路之一，是讓機(jī)器具備不受監(jiān)督的學(xué)習(xí)能力(unsupervised learning)。現(xiàn)在看來這是理所當(dāng)然的，人們可以用自然語言模型去培訓(xùn)AI.但在2016年，這是一個未知的領(lǐng)域，沒有任何科學(xué)家有過相關(guān)的經(jīng)驗(yàn)和洞見。”Sutskever說道。
“更早之前，我也認(rèn)為‘學(xué)習(xí)’這件事只有人類才能完成，計算機(jī)無法做到?！钡?002年到2003年期間，他的想法發(fā)生了轉(zhuǎn)變，“如果能夠讓計算機(jī)去不斷學(xué)習(xí)，或許會為AI行業(yè)帶來改變。”
他認(rèn)為，將神經(jīng)網(wǎng)絡(luò)引入AI領(lǐng)域是非常重要的進(jìn)步。它能像人類的大腦一樣工作，能夠進(jìn)行“深度學(xué)習(xí)”，因此可以將其運(yùn)作邏輯套用在計算機(jī)上。
“深度學(xué)習(xí)”的背后有一套非常扎實(shí)的理論基礎(chǔ)，如果計算機(jī)的神經(jīng)網(wǎng)絡(luò)足夠深、規(guī)模足夠大，便能解決深層次的硬核問題，但這需要足夠的數(shù)據(jù)庫和算力進(jìn)行支撐。因此，OpenAI在優(yōu)化數(shù)據(jù)模型上付出了很多努力，例如制作“神經(jīng)網(wǎng)絡(luò)的反饋”，通過培訓(xùn)神經(jīng)網(wǎng)絡(luò)，使其規(guī)模更大、獲得更多數(shù)據(jù)。
而ChatGPT的工作原理其實(shí)就是培訓(xùn)神經(jīng)網(wǎng)絡(luò)體系，讓神經(jīng)網(wǎng)絡(luò)預(yù)測下一個單詞。以推理小說為例，一本小說中含有各種不同的人物和情節(jié)，讀者在閱讀的過程中能夠根據(jù)線索去推測兇手，這與GPT系列的工作方式非常相似。
“我們希望它預(yù)測單詞具有一定的邏輯性，與過去的訓(xùn)練文本達(dá)到一致。”Sutskever說道，“我們并不是簡單地根據(jù)人類經(jīng)驗(yàn)完成AI學(xué)習(xí)，而是要根據(jù)人類的反饋進(jìn)行強(qiáng)化學(xué)習(xí)。反饋很重要，越多的反饋能使得AI更加可靠?！?/p>
談GPT-4:推理能力沒有達(dá)到此前預(yù)期
最新推出的大型多模態(tài)模型GPT-4也是此次談話的主題之一。OpenAI在6至8個月之前就開始訓(xùn)練GPT-4，與ChatGPT相比它在許多方面都做出了相當(dāng)大的改進(jìn)，最明顯的是這款新模型可以處理圖像內(nèi)容。
Sutskever說道，世界是由圖片構(gòu)成的，而人類是視覺動物，人腦三分之一的灰質(zhì)均用來處理圖像，因此多模態(tài)模型能夠?yàn)橛脩籼峁└鄮椭?。例如，在?shù)學(xué)競賽中很多問題需要圖表進(jìn)行解答，GPT-4能夠解讀圖標(biāo)，極大提高回復(fù)的準(zhǔn)確率。
他大膽預(yù)測，未來的某個GPT版本可能不僅能夠閱讀圖像，還能在回復(fù)中生成圖表。
GPT-4的另一個特點(diǎn)是基于更好的神經(jīng)網(wǎng)絡(luò)，能夠更精確地預(yù)測下一個單詞。不過當(dāng)被問及GPT-4是否具有推理能力(reasoning capabilities)時，Sutskever表示很難去定義這一術(shù)語，不過他認(rèn)為這種能力可能會在不久的將來實(shí)現(xiàn)。
“我們認(rèn)為，GPT的推理能力還沒有達(dá)到之前預(yù)期的水平，如果更進(jìn)一步擴(kuò)大數(shù)據(jù)庫，并保持商業(yè)運(yùn)轉(zhuǎn)模型，它的推理的能力會進(jìn)一步提高，我對此充滿信心?！彼f道。
在談話的最后，Sutskever還預(yù)測了生成式AI的未來，“目前我們只是向AI提供文本，并讓其得出結(jié)論，但AI無法驗(yàn)證這些文本的真實(shí)性以及其來源。下一步是要讓神經(jīng)網(wǎng)絡(luò)驗(yàn)證數(shù)據(jù)來源的真實(shí)性，并讓它能夠意識到用戶的需求?！?/p>
（文章來源：澎湃新聞）
標(biāo)簽：
