吴忠躺衫网络科技有限公司

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

芯科技,解密ChatGPT暢聊之算力芯片

是德科技KEYSIGHT ? 來源:未知 ? 2023-12-27 07:45 ? 次閱讀

在今日飛速發展的科技浪潮中,OpenAI的ChatGPT如一顆璀璨明星,引領著智能對話的新潮流。ChatGPT不僅是一款聊天機器人程序,它背后的驅動力是一個龐大而復雜的算力網絡。這個網絡依賴于先進的GPU服務器,尤其是英偉達的A100 GPU,提供了強大而精確的計算能力。ChatGPT的功能遠超日常對話,它能夠學習、理解并生成人類般的文本,是人工智能領域的一個重要突破。但其真正力量的源泉,是背后那些不斷工作的算力芯片,它們讓ChatGPT能夠實時響應和進化,成為我們生活和工作中的得力助手。

本期是“芯科技”欄目第一期,文末有驚喜,千萬別錯過!

作為OpenAI研發的聊天機器人程序,支撐ChatGPT運轉的可不是簡單的一臺機器,而是一個龐大的算力網絡。這個算力網絡可以抽象為三層:傳輸網絡、計算網絡和存儲網絡。如下圖:

wKgZomWLZrKAA38rAAHaga7MSPs531.png

圖:算力網絡示意圖

當前,大部分算力網絡所采用的是GPU服務器,并廣泛使用英偉達A100 GPU。A100 GPU屬于算力芯片的一種,類型是GPGPU,此外還有專用的ASIC,比如NPU、VPU和TPU等,以及傳統的CPUFPGA等。我們通過下面這張圖能夠比較直觀地看到GPGPU在性能、算法精度、通用性等方面的優勢。

算力芯片對比

指標

GPGPU

CPU

FPGA

ASIC

算力性能

極低

較高

芯片成本

較高

系統成本

功耗

能效比

極低

通用性

算力精度

豐富

單一

單一

單一

算法適配

豐富

單一

單一

單一

數據并行能力

適用場景

云端訓練和推理

任務調度類

云邊端推理

云邊端訓練和推理

圖:算力芯片分類

綜合而言,GPGPU是一款算力性能高,算力類型豐富,算法框架適配完全,數據并行能力強的算力芯片,更加適合當前多模態AI模型的發展。

在算力網絡中,GPGPU芯片要發揮性能光靠自己可不行,需要系統的配合。在這個系統內:CPU負責任務調度;GPU負責主要的算力輸出,也就是計算任務;內存負責數據暫存,配合GPU進行計算。

wKgZomWLZrKAMmUUAAXO92vc_Ko414.png

圖:算力網絡芯片分工示意圖

為了提升計算效率,減少數據傳輸的延時,英偉達A100在芯片封裝內搭載了HBM內存,其具有傳輸距離近,速度帶寬高,堆疊容量大的優勢。

wKgZomWLZrOAWncQAAPS3eFl3OM467.png

圖:HBM內存,示意圖

HBM這種芯片封裝內搭載內存的方式,成本是比較高的,因此大部分AI服務器選擇將計算芯片和內存分開,為了提升這種方式下內存的傳輸速度,內存標準也在不斷演進,已經迭代到DDR5。

wKgZomWLZrOAB72rAAK802-g8kw934.png

圖:內存技術發展

內存的發展趨勢是速度更快、尺寸更小、功耗更低。為了保障內存的高性能和穩定性,在測試環節,需要進行各種功能、性能和可靠性等方面測試,其中需要用到高速誤碼儀,示波器,協議分析儀,一致性分析軟件等軟硬件組合,如下圖:

wKgZomWLZrOATm9oAARdZyO2bdI224.png

圖:是德科技DDR5測試拓撲圖

是德科技,對算力芯片,總線技術PCIe/CXL,存儲技術DDR/LPDDR等都有完整的解決方案,更多有關算力芯片測試,請參考文章下載鏈接:

點擊注冊

作為是德科技 “芯科技” 系列第一期,我們特意為大家準備了精美的禮品抽獎,也歡迎大家留言,把你想學習的知識,你和是德科技的故事,一起告訴小編!


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 是德科技
    +關注

    關注

    20

    文章

    894

    瀏覽量

    82026

原文標題:芯科技,解密ChatGPT暢聊之算力芯片

文章出處:【微信號:是德科技KEYSIGHT,微信公眾號:是德科技KEYSIGHT】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    為企業量身定制解決方案

    面對智產業發展趨勢,寧在2024年世界互聯網大會上,正式提出“精裝”概念,希望為智基礎設施的建設與運維、乃至智算算
    的頭像 發表于 01-23 16:21 ?382次閱讀

    中心的如何衡量?

    作為當下科技發展的重要基礎設施,其的衡量關乎其能否高效支撐人工智能、大數據分析等智能應用的運行。以下是對智中心算衡量的詳細闡述:一、
    的頭像 發表于 01-16 14:03 ?468次閱讀
    <b class='flag-5'>算</b>智<b class='flag-5'>算</b>中心的<b class='flag-5'>算</b><b class='flag-5'>力</b>如何衡量?

    科技云報到:要更要“利”,“精裝”觸發大模型產業新變局?

    科技云報到:要更要“利”,“精裝”觸發大模型產業新變局?
    的頭像 發表于 01-16 10:24 ?113次閱讀

    澎峰科技助力中國移動 重磅發布智合”原生基礎軟件棧2.0

    原生基礎軟件棧2.0。 芯片是智生態的基石,基礎軟件棧是智生態的核心。澎峰科技憑借在高性能計算庫和跨架構領域的深厚積累,自
    的頭像 發表于 12-03 15:08 ?354次閱讀
    澎峰科技助力中國移動 重磅發布智<b class='flag-5'>算</b>“<b class='flag-5'>芯</b>合”<b class='flag-5'>算</b><b class='flag-5'>力</b>原生基礎軟件棧2.0

    一體架構創新助力國產大AI芯片騰飛

    在灣展SEMiBAY2024《AI芯片與高性能計算(HPC)應用論壇》上,億鑄科技高級副總裁徐芳發表了題為《存一體架構創新助力國產大
    的頭像 發表于 10-23 14:48 ?418次閱讀

    【「芯片 | 高性能 CPU/GPU/NPU 微架構分析」閱讀體驗】--全書概覽

    本帖最后由 1653149838.791300 于 2024-10-16 22:19 編輯 感謝平臺提供的書籍,厚厚的一本,很有分量,感謝作者的傾力付出成書。 本書主要講芯片CPU
    發表于 10-15 22:08

    名單公布!【書籍評測活動NO.43】 芯片 | 高性能 CPU/GPU/NPU 微架構分析

    試用評測資格! 前言 不知不覺中,我們來到一個計算機科學飛速發展的時代,手機和計算機中各類便捷的軟件已經融入日常生活,在此背景下,硬件特別是強勁的芯片,對于軟件服務起到不可替代的支撐作用。
    發表于 09-02 10:09

    淺析三大異同

    隨著一年多前ChatGPT的出現引爆人工智能(AI)浪潮,支撐大模型背后的“”概念突然闖進我們的視野,成為科技圈炙手可熱的新詞,引領著最新潮流。作為數字經濟時代新生產,也許不少人
    的頭像 發表于 08-30 12:56 ?1181次閱讀
    淺析三大<b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>之</b>異同

    安謀科技異構賦能AI計算,此科技首款AI PC芯片發布

    7月30日,此科技集團有限公司(以下簡稱“此科技”)AI PC戰略暨首款芯片發布會在上海舉行,正式推出了其首款專為AI PC打造的異構高能效芯片產品——“此
    發表于 07-31 14:36 ?1104次閱讀
    安謀科技異構<b class='flag-5'>算</b><b class='flag-5'>力</b>賦能AI計算,此<b class='flag-5'>芯</b>科技首款AI PC<b class='flag-5'>芯片</b>發布

    耀輝科技解讀高速互連對于AI和大芯片而言意味著什么?

    近年來,隨著人工智能技術的迅猛發展,大芯片已成為推動AI技術創新的關鍵力量。然而,隨著芯片內部計算單元數量的增加和任務復雜度的提升,互連已成為一個嚴重的瓶頸,制約著
    的頭像 發表于 07-08 11:39 ?1032次閱讀

    商湯科技采購40000顆英偉達芯片,縮小中美差距

    徐冰認為,國產芯片崛起以及商品化帶來的投資價值,使中美差距有望逐步縮小。只要中國持續在
    的頭像 發表于 05-28 11:25 ?1408次閱讀

    揭秘芯片:為何它如此關鍵?

    在數字化時代,芯片作為電子設備的核心組件,其性能直接關系到設備的運行速度和處理能力。而芯片,即其計算能力,更是衡量芯片性能的重要指標。
    的頭像 發表于 05-09 08:27 ?1284次閱讀
    揭秘<b class='flag-5'>芯片</b><b class='flag-5'>算</b><b class='flag-5'>力</b>:為何它如此關鍵?

    時代, 如何打破內存墻

    設計的不斷革新,進入了大時代。 目前,主流AI芯片的架構仍然沿用了傳統的馮·諾依曼模型,這一設計將計算單元與數據存儲分離。在這種架構下,處理器需要從內存中讀取數據,執行計算任務,然后將結果寫回內存。盡管AI
    的頭像 發表于 03-06 19:51 ?352次閱讀
    大<b class='flag-5'>算</b><b class='flag-5'>力</b>時代, 如何打破內存墻

    芯片:未來科技的加速器?

    在數字化時代,芯片作為電子設備的核心組件,其性能直接關系到設備的運行速度和處理能力。而芯片,即其計算能力,更是衡量芯片性能的重要指標。
    的頭像 發表于 02-27 09:42 ?999次閱讀
    高<b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>芯片</b>:未來科技的加速器?
    阿拉尔市| 华硕百家乐的玩法技巧和规则| 闲和庄百家乐官网娱乐城| 利都百家乐官网国际赌场娱乐网规则 | 郑州百家乐官网高手| 易胜博百家乐官网娱乐城| 澳门赌场分布| ea平台| 打百家乐官网的介绍| 百家乐官网娱乐城地址| 百家乐官网赢家电子书| 百家乐官网真人赌场娱乐网规则 | 888真人| 玉龙| 百家乐官网现金网开户平台 | 百家乐技巧论坛| 百家乐赌场占多大概率| 女神百家乐娱乐城| 亚洲百家乐的玩法技巧和规则| 百家乐小游戏单机版| 德州扑克教学视频| 足球比分直播| 百家乐官网如何看面| 百家乐官网论坛博彩拉| 百家乐官网最新分析仪| 百家乐白菜价| 大发888娱乐城下栽| 万博网址| 百家乐官网赢钱海立方| 奥斯卡百家乐官网的玩法技巧和规则| 百家乐官网筹码套装100片| 百家乐楼梯缆| 大发888备用网站| 河西区| 真人百家乐官网赌场娱乐网规则| 百家乐官网网页游戏| 百家乐b28博你| 雁荡棋牌游戏| 在线百家乐官网安卓| 百家乐手机软件| 百家乐图形的秘密破解|