GPT-5攤上大問題：燒了數(shù)億美金后OpenAI發(fā)現(xiàn)牛吹早了

　　GPT-5攤上大問題：燒了數(shù)億美金后OpenAI發(fā)現(xiàn)牛吹早了

　　財聯(lián)社12月23日訊(編輯 馬蘭)OpenAI的GPT項目一直是業(yè)界最為關(guān)注的話題，然而在該公司近期熱火朝天的宣傳之中，備受矚目的GPT-5卻消失無蹤。

　　去年11月，OpenAI首席執(zhí)行官奧爾特曼曾強調(diào)，不會在2024年推出任何名為GPT-5的模型。但知情人士透露，OpenAI最大投資者微軟曾預期在2024年年中時看到該模型。

　　有人還稱，距今為止，該項目已經(jīng)籌備超過18個月，總體而言，這個代號為Orion的未來GPT-5模型的氣氛已不太友好。該模型已經(jīng)進行了至少兩次大規(guī)模訓練，每次訓練都需要數(shù)月時間來處理大量數(shù)據(jù)，但每次訓練后都會出現(xiàn)新的問題。

　　了解該項目的人士還指出，Orion目前充其量只比OpenAI的公開模型要好一些，距離該公司所謂的“重大飛躍”還很遙遠，其也無法說服投資人投入目前的巨大成本。據(jù)估計，該模型為期六個月的訓練僅在計算成本方面就“燒”了約5億美元。

　　危險的是，OpenAI在10月的最新估值達到1570億美元，受到了投資者的繼續(xù)追捧，但分析人士指出這一估值很大程度上基于奧爾特曼的樂觀預測，即GPT-5將在各類學科和任務上表現(xiàn)出博士水準，較目前GPT-4的高中生水平實現(xiàn)質(zhì)的飛躍。

　　這意味著如果GPT-5不能在一個合理的時間內(nèi)給出一個合理的亮相，那么OpenAI的繁榮可能將如泡沫般被刺破，成為反噬噩夢的開始。

　　數(shù)據(jù)“燃”盡

　　OpenAI原本的想法是，讓GPT-5有能力解鎖新的科學發(fā)現(xiàn)，并完成諸如預約或航班預定等類人類的決策行為，且其犯錯的概率更小，或者至少對AI幻覺有所警惕。

　　但設想是設想，內(nèi)部人士透露OpenAI的預期有些過于樂觀，僅在數(shù)據(jù)問題上，GPT-5就面臨著難以想象的挫折。

　　人工模型在訓練過程中需要不斷測試，可能持續(xù)很長一段時間。在此期間，模型將輸入數(shù)萬億個單詞片段，即所謂的token。而未來的人工智能模型吞噬token的數(shù)量將會是目前模型的十倍，甚至更多。

　　GPT-4的訓練就使用了大約13萬億個token，按照一千人每天協(xié)5000個單詞計算，這種規(guī)模的團隊在幾個月才能生產(chǎn)十億個token，而其花費據(jù)奧爾特曼稱超過1億美元。

　　因此GPT-5模型的最關(guān)鍵問題在于：數(shù)據(jù)不足。此前的模型使用的是新聞文章、社交媒體貼文和科學論文，但研究人員透露，公共互聯(lián)網(wǎng)上的數(shù)據(jù)已經(jīng)不夠，他們需要更多樣且更高質(zhì)量的數(shù)據(jù)，來讓GPT-5變得更加強大。

　　難以調(diào)頭

　　OpenAI目前的解決方案是從頭開始創(chuàng)建數(shù)據(jù)，如招聘人員編寫新的軟件代碼或解決數(shù)學問題，以供Orion學習。這些員工之中部分是軟件工程師，部分是數(shù)學家，必要時他們還需要向Orion解釋自己的工作。

　　還有一個方法是讓現(xiàn)有的人工智能創(chuàng)造數(shù)據(jù)來訓練Orion，比如OpenAI的o1。但研究人員又指出，用人工智能產(chǎn)出的數(shù)據(jù)喂給人工智能通常會引發(fā)故障或?qū)е聼o意義的答案。

　　總之，在讓Orion變成名副其實的GPT-5的道路上，OpenAI已經(jīng)感到心累，在實現(xiàn)質(zhì)的飛躍之前，人工智能先倒在了量的累積上。更無奈的是，OpenAI今年持續(xù)的人才流失加深了這一困境。

　　從首席科學家Ilya Sutskever到首席技術(shù)官Mira Murati再到上周四辭職的知名研究員Alec Radford，OpenAI的各路大神紛紛離巢，這為“難產(chǎn)”的GPT-5再添一層濃重的悲觀色彩。

　　遲遲看不到結(jié)果的GPT-5也難免被OpenAI內(nèi)部的商業(yè)化項目，如Sora，爭奪走有限的計算資源。這同時也是一種警告，即Orion沒有多少從頭再來的機會，因為OpenAI已經(jīng)明確了其想要盈利的雄心。