吴忠躺衫网络科技有限公司

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

AI專家:GPT-3的性能令人驚嘆,但存在規(guī)模和缺乏透明度等問題

如意 ? 來源:讀芯術(shù)微信公眾號 ? 作者:讀芯術(shù)微信公眾號 ? 2020-09-18 16:31 ? 次閱讀

算法像人一樣寫作,是人工智能研究實驗室OpenAI多年來一直追尋的夢想。其最新研究成果是語言生成算法模型GPT-3,現(xiàn)已被用于生成讓人難以分辨的偽文章,其所寫博客騙過了黑客新聞(Hacker News)的發(fā)布者,甚至成為網(wǎng)站熱門文章。

那個帖子是這樣的:“要想把事情做好,也許我們根本不需要想太多。這似乎有悖常理,但我相信有時想得多了反而會阻礙我們的創(chuàng)造力。”

OpenAI之所以可以實現(xiàn)如此高效的算法,是因為它能夠訪問巨額計算量和數(shù)據(jù),且此算法本身的容量遠大于已有的所有算法:最大版本的GPT-3有1750億個參數(shù),這種方程式能幫算法做出更精準預測。GPT-2只有15億個參數(shù)。

雖然OpenAI曾公布過它的算法,但這次它選擇讓GPT-3保持神秘。該公司表示,對大多數(shù)操作者來說,GPT-3實在是太大了,對其收費,就能讓OpenAI從中獲利。

在過去的一年里,OpenAI變革公司結(jié)構(gòu),使其更能吸引投資者。它放棄了“限制利潤”模式的非盈利定位,這樣如果OpenAI獲利,投資者就能獲得回報。它還與微軟達成了10億美元的合作協(xié)議,開啟了兩家公司之間的合作,該協(xié)議還允許OpenAI優(yōu)先訪問微軟的云計算平臺。

研究人員說,他們對OpenAI不公布算法表示質(zhì)疑,稱這違背了基本科學原則,且對該公司聲明的核實變得愈發(fā)困難。

Facebook人工智能研究(FAIR)的聯(lián)合董事暨Facebook蒙特利爾人工智能研究實驗室負責人喬埃爾?皮諾(Joelle Pineau)在一封電子郵件中說到:“我對目前為止對諸如GPT-2/GPT-3和AlphaGo這類代碼不共享的所有爭論持懷疑態(tài)度。在人工智能領(lǐng)域,有很多類似情況。”

GPT-3的核心是個非常強大的英語寫作工具。GPT-3最重要的是它的規(guī)模,它通過分析45萬億字節(jié)的數(shù)據(jù)學會了寫作。報道稱這個訓練過程在云計算上花費了數(shù)百萬美元,它見證了人類數(shù)以億計的書寫組合。

這是OpenAI長期戰(zhàn)略的關(guān)鍵部分。多年來,該公司一直表示,深度學習算法的規(guī)模越大越好。數(shù)據(jù)越多,計算能力越強,算法的能力就越強。OpenAI就是因為具備同時在數(shù)百個GPU上訓練算法的能力,才在《刀塔2》中擊敗了職業(yè)電子競技玩家。

OpenAI的領(lǐng)導曾表示,OpenAI的政策主管杰克·克拉克(Jack Clark)認為算法越大,則“越有條理,越有創(chuàng)造力,也越可靠”。在談到《刀塔2》機器人需要的訓練量時,首席技術(shù)官格雷格·布羅克曼表示:“等運氣耗盡,我們期待一場棋逢對手的比賽。”

GPT-3采用了類似方法。OpenAI認為,算法更大意味著參數(shù)更多,就能進行更普遍的操作。例如,GPT-3最基本的功能是自動補全,給它一個詞或句子,它就會逐字逐句地生成它認為接下來該出現(xiàn)的詞句。不必對算法進行任何修改,它也能回答問題,甚至進行翻譯。這與只能處理一項任務的專項微調(diào)算法不同。

有人認為,這向人工智能的圣杯——通用智能邁出了一步,它意味著算法可以像人類一樣學習和適應;而另一些人則表示,算法仍不能真正理解它生成的話語。

OpenAI發(fā)布了一篇詳細的研究報告,解釋了該算法的架構(gòu)和它所取得的結(jié)果,而當涉及到GPT-3的功能研究時,其他人工智能研究人員只能選擇相信OpenAI。這家研究公司最近不再以非盈利為定位,開始籌集資金開發(fā)商業(yè)產(chǎn)品,它不再像過去一樣公布算法。

2019年2月,OpenAI宣稱,前一最大版本GPT-2算法有可能生成錯誤信息或虛假新聞,太過危險不便發(fā)布,這一聲明引來了很多質(zhì)疑。公司先行發(fā)布了簡易版的GPT-2,并未發(fā)現(xiàn)濫用跡象,才最終發(fā)布了最大版本算法。現(xiàn)在,與其說GPT-3太危險,不如說它似乎太有利可圖而不能發(fā)行。

GPT-3只能通過OpenAI運行的API訪問,這與亞馬遜、谷歌和微軟等公司的算法變現(xiàn)方式相類似。開發(fā)者可以編寫程序向GPT-3發(fā)送特定指令,GPT-3在OpenAI的云端中生成響應并回傳結(jié)果。雖然API在內(nèi)測期間免費,但OpenAI正在考慮長期定價。這意味著研究人員只能向算法發(fā)送特定命令,而OpenAI可以隨時取消訪問權(quán)限。

OpenAI將這種做法歸結(jié)于對安全和規(guī)模的考慮。如果該公司發(fā)現(xiàn)有人濫用API做了諸如支持假新聞網(wǎng)站的事情,那么它可以取消該開發(fā)者的訪問權(quán)限。

該公司還表示,這些算法規(guī)模龐大,運行成本高昂,更別提開始訓練后的花銷。“這使得任何除大公司以外的使用者都很難從底層技術(shù)中獲益。我們希望API能讓小型企業(yè)和組織更容易地使用強勁的人工智能系統(tǒng)。”

由于云計算的計價方式,OpenAI訓練和操作算法的確切成本很難核算。租賃GPU的成本根據(jù)特定服務器區(qū)域的地理鄰近程度,以及基于項目規(guī)模的協(xié)議費率等因素的不同,差別很大。由于OpenAI為完成任務將其中部分資金用于建造自己的超級計算機,它可能從與微軟的10億美元合作中受益。

但是這些限制,即規(guī)模和缺乏透明度,使得其他科學家很難復制和驗證該算法的有效性。

盡管涉及風險投資和企業(yè)利益,人工智能仍然是研究計算機科學的一個途徑,且這種科學方法仍然適用。最好的科學實驗,比如建立一個算法來成功完成一項任務并證明一個假設,是可以復制的。

皮諾是可復制計算機科學的熱心支持者,她認為像GPT-3和AlphaGo這樣尚未公布的算法是“科學文物”。她在電子郵件中說到:“這有點像挖出的恐龍骨頭,它為你提供了支持某些理論的證據(jù),但與實際進行實驗是不一樣的。”皮諾表示,這些“文物”有助于提出未來的研究假設,但它們?nèi)匀徊荒芴娲_鑿的知識。

很多人擔心,通過限制對代碼和受訓算法的訪問,人工智能的“民主化”,即任何人都可使用人工智能,會受OpenAI威脅。“使用人工智能”這一用語是多層面的,意思是使用計算能力、數(shù)據(jù)集以及算法本身。諸如谷歌的TensorFlow和臉書的PyTorch這類開源框架使得算法易于構(gòu)建和共享,還存在其他很多開源數(shù)據(jù)集。

然而,計算能力來自硬件,是一種有限的物理資源,大公司和像OpenAI這樣資金充足的研究機構(gòu)更容易獲得該資源。

如果OpenAI的實驗被證明是人工智能的發(fā)展方向,同時算法的擴大轉(zhuǎn)化為性能的提高,那么消費不起先進人工智能的人就無法使用它了。這還會允許擁有資源的大公司制定規(guī)則,決定誰有權(quán)使用某些人工智能算法。例如,他們可以利用API進行設置,并對訪問和使用算法進行收費。

喬治亞理工學院(Georgia Institute of Technology)研究自然語言處理的人工智能教授馬克·瑞德爾(Mark Riedl)表示:“如果確信實現(xiàn)更好人工智能的方法實際上是實現(xiàn)更大規(guī)模,那么誰能擁有更優(yōu)人工智能就由OpenAI決定了。”

瑞德爾對OpenAI是否會監(jiān)視其新API的所有使用情況,以確定是否被用于惡意目的表示質(zhì)疑,OpenAI曾花了大量精力來思考它的算法會如何被濫用。“OpenAI是否會查看輸出,以判斷他們的技術(shù)是否得到恰當使用?鑒于其宗旨,以及這與他們新盈利模式相沖突,這似乎很關(guān)鍵。他們能做到大規(guī)模監(jiān)控嗎?”

并非所有人都認同OpenAI“越大越好”的方法是人工智能的發(fā)展方向。例如,自然語言處理研究人員梅拉妮·米歇爾(Melanie Mitchell)就對GPT-3進行了“模仿”測試,要求算法識別特定字母序列的變化模式。如果“abc”變?yōu)椤癮bd”,那么“efg”會變成什么?

上世紀80年代,米歇爾開發(fā)了一種算法來解決這類人類一直以來所進行類比的微型模擬測試。要正確地進行類比,必須理解所有組件之間的關(guān)系。在字母表的例子中,算法必須了解字母表的順序和每個字母的位置。雖然該算法在眾多測試中表現(xiàn)良好,但米歇爾發(fā)現(xiàn),它也無法掌握其他算法數(shù)十年前已掌握的一些簡單概念。

米歇爾說:“在研究方面,我個人認為,在一個問題上投入過多的計算和參數(shù)可能會把人工智能逼進死胡同。如果我們的目標是制造強大、具有普遍智能的機器,我認為這無法取得真正的進展。”

她承認,在制造需要深度學習的人工智能產(chǎn)品時,龐大的計算能力讓科技巨頭獲得優(yōu)勢,但反之并不是所有現(xiàn)代問題都需要高能耗的深度學習算法,不是解決每個問題都需要達到GTP-3的規(guī)模。

米切爾在測試該算法時寫道:“GPT-3的性能令人驚嘆,但它也和當今最先進的人工智能系統(tǒng)中的很多情況類似:似乎很智能的性能中夾雜著一些非人類錯誤,而且我們搞不清楚它表現(xiàn)好或犯錯誤的原因。”
責編AJX

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 算法
    +關(guān)注

    關(guān)注

    23

    文章

    4630

    瀏覽量

    93365
  • AI
    AI
    +關(guān)注

    關(guān)注

    87

    文章

    31536

    瀏覽量

    270358
  • GPT
    GPT
    +關(guān)注

    關(guān)注

    0

    文章

    360

    瀏覽量

    15508
收藏 人收藏

    評論

    相關(guān)推薦

    騰訊混元3D AI創(chuàng)作引擎正式發(fā)布

    AI技術(shù),能夠根據(jù)用戶提供的提示詞或圖片,直接生成高質(zhì)量的3D模型。這一功能極大地降低了3D內(nèi)容創(chuàng)作的門檻,使得即使是缺乏專業(yè)3D建模技能
    的頭像 發(fā)表于 01-23 10:33 ?168次閱讀

    葡萄酒俱樂部計劃部署RFID技術(shù)以提高供應鏈的透明度

    來提高葡萄酒供應鏈的透明度和效率。 該解決方案是基于區(qū)塊鏈和RFID技術(shù)來跟蹤每瓶酒在運輸、儲存、購買和消費過程中的信息。該系統(tǒng)記錄了每瓶葡萄酒的數(shù)字標識、生活故事以及周圍的條件,一直到消費者手中。 通過將 超高頻RFID標簽 嵌入到瓶子
    的頭像 發(fā)表于 11-23 16:18 ?190次閱讀

    英偉達預測機器人領(lǐng)域或迎“GPT-3時刻”

    未來2-3年內(nèi),機器人基礎模型的研究將迎來重大突破,這一時刻被形象地比喻為機器人領(lǐng)域的“GPT-3時刻”。
    的頭像 發(fā)表于 09-20 17:05 ?856次閱讀

    動態(tài)代理IP的匿名性和透明度,為主要考慮關(guān)鍵!

    動態(tài)代理IP的匿名性和透明度是用戶選擇代理服務時需要考慮的關(guān)鍵因素。根據(jù)用戶的需求和場景,可以選擇不同匿名級別和透明度的代理服務來平衡隱私保護和網(wǎng)絡訪問的需求。
    的頭像 發(fā)表于 09-20 07:36 ?346次閱讀
    動態(tài)代理IP的匿名性和<b class='flag-5'>透明度</b>,為主要考慮關(guān)鍵!

    Jim Fan展望:機器人領(lǐng)域即將迎來GPT-3式突破

    英偉達科學家9月19日,科技媒體The Decoder發(fā)布了一則引人關(guān)注的報道,英偉達高級科學家Jim Fan在近期預測,機器人技術(shù)將在未來兩到三年內(nèi)迎來類似GPT-3在語言處理領(lǐng)域的革命性突破,他稱之為機器人領(lǐng)域的“GPT-3時刻”。
    的頭像 發(fā)表于 09-19 15:13 ?651次閱讀

    Arm Kleidi加速AI發(fā)展

    在持續(xù)快速發(fā)展的人工智能 (AI) 時代,我們堅定地支持全球數(shù)百萬開發(fā)者,確保他們能夠獲得所需的性能、工具和軟件庫,從而順利打造下一波令人驚嘆AI 體驗。
    的頭像 發(fā)表于 09-14 09:46 ?449次閱讀

    加州立法推動AI透明度,生成式人工智能迎來數(shù)據(jù)披露新紀元

    的數(shù)據(jù)使用與透明度問題也逐漸成為公眾關(guān)注的焦點。8月28日,美國加州立法機構(gòu)的一項重大舉措——人工智能訓練數(shù)據(jù)透明度法案的通過,標志著該州在推動AI行業(yè)健康發(fā)展、保障公眾權(quán)益方面邁出了堅實的一步。
    的頭像 發(fā)表于 08-28 16:20 ?623次閱讀

    開源 KiCad/AD 查看器 + AI Copilot?

    線、焊盤、敷銅透明度 查看網(wǎng)絡 3D 預覽 查看 BOM AI Copilot 在查看器的右側(cè),切換到 AI 面板,可以直接提出您的問題: 也可以在原理圖中,選中任意器件,然后
    發(fā)表于 08-18 22:41

    LED透鏡的顏色與透明度基本概念

    如果 LED燈 有透鏡顏色,則無論透鏡透明度如何,LED 在開和關(guān)時都會顯示該顏色。如果透鏡顏色為白色或無色,則 LED 有可能發(fā)出白色,另一種顏色或各種顏色的光,然后在關(guān)狀態(tài)下返回白色或無色。
    的頭像 發(fā)表于 07-25 09:34 ?502次閱讀

    平衡創(chuàng)新與倫理:AI時代的隱私保護和算法公平

    成了一把雙刃劍,其銳利的一面正逐漸指向我們的核心價值。面對這些挑戰(zhàn),制定一套有效的AI治理框架和隱私保護機制變得迫在眉睫。 確保AI決策的透明度是解決這些問題的關(guān)鍵一步。透明度不僅
    發(fā)表于 07-16 15:07

    Alpha半透明圖形疊加算法Matlab+Verilog的設計實現(xiàn)

    Alpha通道是一個8位的灰度通道,該通道用256級灰度來記錄圖像中的透明度信息,定義透明、不透明和半透明區(qū)域,其中黑表示全透明,白表示不
    的頭像 發(fā)表于 05-01 10:28 ?773次閱讀
    Alpha半<b class='flag-5'>透明</b>圖形疊加算法Matlab+Verilog的設計實現(xiàn)

    Mozilla:科技公司廣告透明度工具需進一步完善

    結(jié)果表明,X 平臺透明度表現(xiàn)欠佳,僅能通過加載速度較慢的 CSV 文件獲取相關(guān)數(shù)據(jù),且缺乏用戶友好型網(wǎng)絡界面;同時,該平臺在目標參數(shù)和接收方數(shù)據(jù)方面亦存在顯著不足,亟待改進。
    的頭像 發(fā)表于 04-17 10:41 ?615次閱讀

    搭載M3芯片的iPad有哪些

    搭載M3芯片的iPad主要有iPad Pro系列。新一代iPad Pro系列都將搭載全新的M3芯片。M3芯片集成了令人驚嘆的250億個晶體管,比之前的M2芯片多出了50億個,意味著
    的頭像 發(fā)表于 03-13 16:09 ?2373次閱讀

    Anthropic推出Claude 3系列模型,全面超越GPT-4,樹立AI新標桿

    近日,AI領(lǐng)域的領(lǐng)軍企業(yè)Anthropic震撼發(fā)布了全新的Claude 3系列模型,該系列模型在多模態(tài)和語言能力關(guān)鍵領(lǐng)域展現(xiàn)出卓越性能,成功擊敗了此前被廣泛認為是全球最強
    的頭像 發(fā)表于 03-05 09:49 ?744次閱讀

    什么是OpenAI Sora?最佳OpenAI Sora替代推薦

    NightCafe Creator是一款AI藝術(shù)生成器應用程序,可以讓用戶使用各種技術(shù)(如神經(jīng)風格轉(zhuǎn)換和文本到圖像AI)創(chuàng)建令人驚嘆AI生成藝術(shù)品。
    的頭像 發(fā)表于 02-22 11:22 ?1532次閱讀
    育儿| 新葡京百家乐官网娱乐城| 百家乐官网桌出租| 闲和庄百家乐官网赌场娱乐网规则 | 7080棋牌| 百家乐官网高手论坛| 百家乐最新打法| 威尼斯人娱乐场66| 马公市| 曼哈顿百家乐官网的玩法技巧和规则| 怎样看百家乐路单| 现金百家乐游戏| 百家乐官网单机游戏免费下| 博之道百家乐技巧| 优博| 巴宝莉百家乐官网的玩法技巧和规则| 菲律宾百家乐娱乐| 岑溪市| 百家乐分路单析器| 现金棋牌评测网| 百家乐官网公开| 百家乐大西洋城v| 皇冠透注网| 杨筠松 24山| 大发888免费下载| 百家乐官网诀| 威尼斯人娱乐城筹码| 真人百家乐官网现金游戏| 澳门百家乐的赢钱不倒翁| 曼哈顿娱乐场| 24山亥山巳向造葬日课| 免费百家乐倍投| 澳门百家乐官网的赢钱不倒翁| 百家乐赌术大揭秘| 百家乐官网是咋玩法| 百家乐EA平台| 阿尔山市| 百家乐网上真钱娱乐网| 百家乐官网代理博彩正网| 红宝石百家乐娱乐城| 在线百家乐官网大家赢|