GPT-4 實現(xiàn)了以下幾個方面的飛躍式提升:更聰明,做題水平越來越好; 支持圖像輸入,擁有強大的識圖能力,但目前只限內部測試; 更長的上下文,文字輸入限制提升至2.5萬字; 回答精準性顯著提高; 更安全,有害信息更少。
GPT-4 到底有多強多聰明?
據 OpenAI 透露,GPT-4 通過了所有基礎考試而且是高分通過。 例如,GPT-4在模擬律師資格考試的成績在考生中排名前10%左右,在SAT閱讀考試中排名前7%左右,在SAT數(shù)學考試中排名前11%左右。 相比之下,曾經令人震撼的GPT-3.5,真實得分在倒數(shù)10%左右,GPT-4的強大已經可想而知。
有網友表示:如果真如報告說的那樣就太可怕了,我感覺能力已經遠遠超過我了。
也有網友逆向思考:我躺好了! 我生在了適合我的時代!
最多的聲音則是對未來工作不保的擔憂:還有哪個行業(yè)可以不被替代?
比以前的版本更大,也更燒錢
OpenAI稱,GPT-4 比以前的版本「更大」,這意味著其已經在更多的數(shù)據上進行了訓練,并且在模型檔案中有更多的權重,這使得它的運行成本更高。
同時,OpenAI并未公布這個模型的參數(shù)量有多少。
OpenAI 表示,它使用的是微軟 (MSFT. US) Azure 訓練模型,微軟已經向這家初創(chuàng)公司投資了數(shù)十億美元。 OpenAI 沒有公布模型大小的細節(jié),也沒有公布用來訓練模型的硬件,理由是競爭情況。
目前,此領域的許多研究人員認為,人工智能領域的許多最新進展,都來自于在數(shù)千臺超級電腦上運行越來越大的模型,這些模型的訓練過程可能耗資數(shù)千萬美元。
為了不斷提高GPT-4性能,OpenAI還為其研發(fā)大搞基礎建設。
在過去的兩年內,OpenAI 重建了整個深度學習堆疊,并與 Azure 一起為其工作負載從頭開始設計了一臺超級計算機。 一年前,OpenAI 在訓練 GPT-3.5 時第一次嘗試運行了該超級運算系統(tǒng),之后他們又陸續(xù)發(fā)現(xiàn)并修復了一些錯誤,改進了其理論基礎。 這些改進的結果是 GPT-4 的訓練運行獲得了前所未有的穩(wěn)定。
OpenAI 聯(lián)合創(chuàng)始人兼總裁格雷格・布羅克曼=表示,OpenAI 預計,未來將由投資十億美元超級電腦的公司開發(fā)尖端模型,一些最先進的工具將帶有風險。 OpenAI希望對他們工作的某些部分保密,以給初創(chuàng)公司「一些喘息的空間,以真正關注安全并做好它。」
GPT-4 仍然不完全可靠
盡管功能已經非常強大,但 GPT-4 仍與早期的 GPT 模型具有相似的局限性,其中最重要的一點是它仍然不完全可靠,也就是還有可能胡說八道。
OpenAI 也警告稱,GPT-4 還不完美,在許多情況下,它的能力不如人類。 該公司表示:“GPT-4 仍有許多已知的局限性,我們正在努力解決,比如社會偏見、幻覺和對抗性提示。 ”
總的來說,GPT-4 相對于以前的模型(經過多次迭代和改進)已經顯著減輕了幻覺問題。 在OpenAI的內部對抗性真實性評估中,GPT-4的得分比最新的GPT-3.5模型高40%。
同時,GPT-4訓練數(shù)據還是截止到 2021 年 9 月份。 這也意味著,GPT-4 對于這個時間點以后的信息,缺乏足夠的了解,也不會從其經驗中學習。
在 GPT-4 發(fā)布之后,OpenAI 創(chuàng)始人阿爾特曼發(fā)推文表示:「它仍然是有缺陷的,仍然是有限的,在你花了更多的時間第一次使用它時,它似乎比實際情況更令人印象深刻。」
最令人震驚的在于,按照OpenAI工程師們的說法,GPT-4的訓練在去年8月就已經完成,剩下的時間都在進行微調提升,以及最重要的去除危險內容生成的工作。
這也意味著,OpenAI 內部技術,比大家想象中的領先外界更多年。 更可怕的是,OpenAI 還一口氣開放了 API 接口和相關論文! 這讓其它對手們還怎么追?
但隨著更強大的 GPT-4 發(fā)布,OpenAI 的技術能力顯然仍在不斷進步,且進展速度遠比追的速度還要快。
與此同時,在該模型的應用方面,OpenAI也有了最新進展。
新模型將提供給 ChatGPT 的付費用戶,也將作為 API 的一部分提供,允許程序員將 AI 內建到他們的應用程序中。 OpenAI 將對750 字左右的指令信息收費3 美分,對750字左右的響應信息收費6美分。
OpenAI 還表示,目前摩根史坦利正在使用 GPT-4 來組織數(shù)據,而電子支付公司 Stripe 正在測試 GPT-4 是否有助于打擊欺詐。 其他客戶還包括語言學習公司 Duolingo、Khan Academy 和冰島政府。 OpenAI 合作伙伴微軟周二表示,新版必應搜索引擎將使用 GPT-4。