吴忠躺衫网络科技有限公司

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

NVIDIA 賦能中科深智實現 NPC 與玩家的千人千面多模態(tài)互動

NVIDIA英偉達 ? 來源:未知 ? 2023-07-11 23:10 ? 次閱讀

中科深智成立于 2016 年,是一家專注于端到端生成式 AI 虛擬人技術的公司,從底層自研的大語言模型、動作和表情生成算法模型以及 3D 自動建模,到 Motionverse 虛擬人業(yè)務中臺,再到 3D 生成式 AI 產品和應用層。中科深智除了為生態(tài)合作伙伴提供 AI 虛擬人 API 外,還開發(fā)了一系列 3D 生成式 AI 產品,包括超寫實虛擬人生成系統 Anyhuman、元宇宙電商和虛擬人直播工具百寶箱自動播、AI 快速動畫生成系統自動畫、虛擬人實時交互和應答系統云小七等。

傳統 NPC 人機交互

生硬且成本高昂

在動作和表情方面,傳統 NPC 因為無法獲取用戶的畫面信息和語音信息,也就無法做出實時的反饋,動作和語音的呈現皆靠預設,所謂的人機交互其實非常的刻板和生硬。

在文字和語音的對話能力方面,大語言模型的出現賦予了 NPC 實時對話的能力。但無論是何種大語言模型的誕生,都經歷了數據清洗、預訓練、指令微調、測試、合規(guī)、部署和應用接口開發(fā)等環(huán)節(jié),這些環(huán)節(jié)此前是彼此分散的,而并非一體化的,這也意味著每兩個環(huán)節(jié)之間都需要進行大量的人工處理和匹配部署,這本質上是對人力成本和時間成本的浪費,亟需一種更加省時和高效的解決方案。

NVIDIA 賦能游戲 NPC

實現智能化互動

中科深智的虛擬人實時交互和應答系統云小七可以支持智能 NPC 的批量化生產,提升游戲開發(fā)效率。云小七基于生成式 AI 的設計,可以通過將 NPC 賦予如形象、聲音、性格特征、背景等特定的人設來與游戲內容進行有機融合。此外,云小七還能夠在不需要編寫復雜腳本的情況下,讓 NPC 與游戲玩家進行順暢的文字、語音、動作、表情等多模態(tài)的實時互動。這將為游戲開發(fā)商帶來更有力的支持,同時也為玩家提供更加生動、真實的游戲體驗。云小七的核心能力之一還包括中科深智自研實現的 CLAP 大模型算法,這種算法可以實現對于語音、語義以及外部環(huán)境輸入的實時反饋,從而輸出動作和表情等,使得 NPC 具有更加生動的表現能力。

NVIDIA Omniverse 中的 Audio2Face 可以輔助云小七實現音頻輸入的面部輸出,通過預訓練的深度神經網絡、調整角色網格的 3D 頂點等方式,快速實現表情切換。通過利用 NVIDIA Maxine 對于音頻和視頻通信方面進行優(yōu)化,即使用戶使用普通的麥克風和攝像頭,NPC 也能監(jiān)測到他們的行為并且產生反饋,與玩家實現實時互動。

此外,云小七底層的文字對話能力來自于中科深智今年 5 月推出的自有大語言模型 GenSense 數智姜尚。數智姜尚是國內商用大模型在輕量化領域內的重要嘗試,是針對垂直領域和虛擬人端到端應用而專門設計的大語言模型,可成為虛擬人的“大腦”,為其提供實時互動的能力支撐。數智姜尚采用了先進的優(yōu)化技術,輕巧便利且占用資源極少,可為用戶提供流暢的使用體驗。配合 NVIDIA GPU,數智姜尚能夠以高性能運行并展現出色的表現。其次,數智姜尚的部署和定制非常簡便,可以輕松集成到現有的企業(yè)工作流中,為用戶提供個性化和智能化的解決方案,同時實現快速的模型訓練和應用部署。

NVIDIA NeMo 在數智姜尚的訓練過程中提供了低門檻、經濟、高效的幫助。

首先,NVIDIA NeMo 幫助解決了訓練全流程的問題,包括數據清洗、預訓練和指令微調,以及測試、合規(guī)、部署和應用接口開發(fā)等。在此之前,這需要多個架構才能完成,因此極大的提高了自有模型的開發(fā)效率。

同時,NVIDIA NeMo 還提供了大量的、可應用于多個不同場景的預訓練模型。選擇 NVIDIA 已經訓練好的模型,能夠大幅縮短微調和再訓練的時間,也幫助擴充了中科深智自身大模型數智姜尚的適應性。NeMo 本身的 ASR/TTS 也直接帶來了自然交互工具,無需借助第三方,從而加速了數智姜尚的開發(fā)和交付。

此外,通過使用 NVIDIA 提供的 NeMo Guardrails 工具,中科深智還高效解決了對話式 AI 合規(guī)性和安全性的風險。通過 NeMo Guardrails 為對話設置響應的范圍和邊界,使數智姜尚的回答范圍僅限于適當的主題并僅提供必要的信息,能夠限制 AI 只與已確認安全的第三方應用程序建立聯系。

NVIDIA 助力中科深智

加速AI 對話數字人建設

中科深智聯合創(chuàng)始人兼 CTO 宋健說:“中科深智是 NVIDIA 初創(chuàng)加速計劃的高級會員,通過該計劃,一方面中科深智與 NVIDIA 進行了深入的技術合作,另外一方面也鏈接到大量外部企業(yè)資源,可以快速有效的將產品和需求方進行對接。

大模型驅動的對話式 AI 和數字人的結合引發(fā)了新一輪的商業(yè)增量,也是我們的企業(yè)客戶關注的重點。對話式數字人正在不同領域發(fā)揮著越來越大的作用,幫助企業(yè)用戶解決客戶服務等難題,提高客戶的體驗。然而開發(fā)和運行可落地的語音人工智能服務仍然是一項復雜而艱巨的任務,通常需要面臨實時性、可理解性、自然性、低資源、魯棒性等挑戰(zhàn)。在 NVIDIA 初創(chuàng)加速計劃的支持之下,我們深入了解并且成功應用了 NVIDIA 各項最新技術和工具,包括 NVIDIA Nemo,NVIDIA Omniverse 等等,切實幫助我們加速了 AI 對話數字人的建設。”

NVIDIA 初創(chuàng)加速計劃

中科深智是 NVIDIA 初創(chuàng)加速計劃 (NVIDIA Inception) 會員企業(yè)。NVIDIA 初創(chuàng)加速計劃為免費會員制,旨在培養(yǎng)顛覆行業(yè)格局的優(yōu)秀創(chuàng)業(yè)公司。該計劃聯合國內外知名的風投機構,創(chuàng)業(yè)孵化器,創(chuàng)業(yè)加速器,行業(yè)合作伙伴以及科技創(chuàng)業(yè)媒體等,打造創(chuàng)業(yè)加速生態(tài)系統。能夠提供產品折扣,技術支持,市場宣傳,融資對接,業(yè)務推薦等一系列服務,加速創(chuàng)業(yè)公司的發(fā)展。

想獲得 NVIDIA 初創(chuàng)加速生態(tài)助力?掃描下方二維碼,僅需一分鐘填寫意向申請表單,獲得快速聯系。

66502e82-1ffc-11ee-962d-dac502259ad0.png


原文標題:NVIDIA 賦能中科深智實現 NPC 與玩家的千人千面多模態(tài)互動

文章出處:【微信公眾號:NVIDIA英偉達】歡迎添加關注!文章轉載請注明出處。


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯系本站處理。 舉報投訴
  • 英偉達
    +關注

    關注

    22

    文章

    3847

    瀏覽量

    91973

原文標題:NVIDIA 賦能中科深智實現 NPC 與玩家的千人千面多模態(tài)互動

文章出處:【微信號:NVIDIA_China,微信公眾號:NVIDIA英偉達】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    體驗MiniCPM-V 2.6 模態(tài)能力

    模態(tài)組網
    jf_23871869
    發(fā)布于 :2025年01月20日 13:40:48

    東軟載波榮獲2024十城千人天光云影計劃參與貢獻獎

    日前,2024十城千人天光云影計劃杭州站活動的圓滿落幕,以“雙碳、健康、AI+、設計”為主題的智能照明行業(yè)交流活動畫上了完美的句號。自3月14日啟動以來,“十城千人天光云影計劃”相繼在北京、重慶
    的頭像 發(fā)表于 01-08 14:25 ?161次閱讀

    十城千人天光云影計劃第十一站在廣州祈福酒店順利召開

    11月15日,以 “雙碳、健康、AI+、設計”為主題的2024十城千人天光云影計劃第十一站在廣州祈福酒店成功舉辦 。旨在推動智能照明行業(yè)的雙碳目標實現、健康照明普及、AI+技術融合與設計創(chuàng)新。 本次
    的頭像 發(fā)表于 11-18 11:11 ?244次閱讀
    十城<b class='flag-5'>千人</b>天光云影計劃第十一站在廣州祈福酒店順利召開

    中科創(chuàng)達推動下一代模態(tài)智能機器創(chuàng)新

    具身智能在業(yè)界被普遍認為即將掀起人工智能領域的全新浪潮。人形機器作為具身智能的絕佳載體,隨著模態(tài)大模型的迅猛發(fā)展,人形機器的智能化程度將顯著提升,進而加速其產業(yè)化進程。2024
    的頭像 發(fā)表于 11-15 11:03 ?456次閱讀

    覺機器完成數千萬元天使輪融資

    近日,模態(tài)觸覺感知傳感器公司覺機器(Xense Robotics)成功完成了數千萬元人民幣的天使輪融資。本輪融資由高瓴創(chuàng)投(GL Ventures)領投,交大菡源基金等投資方跟投
    的頭像 發(fā)表于 10-14 16:02 ?361次閱讀

    Meta發(fā)布模態(tài)LLAMA 3.2工智能模型

    Meta Platforms近日宣布了一項重要技術突破,成功推出了模態(tài)LLAMA 3.2工智能模型。這一創(chuàng)新模型不僅能夠深度解析文本信息,還實現了對圖像內容的精準理解,標志著Met
    的頭像 發(fā)表于 09-27 11:44 ?453次閱讀

    愛普生有源晶體振蕩器SG3225EEN應用于儲NPC、新能源

    NPC通常指的是在儲系統中使用的NPC(Neutral Point Clamped)三電平逆變器。NPC三電平逆變器是一種
    發(fā)表于 09-10 10:47 ?1次下載

    突發(fā)!英特爾或將裁員數千人,削減成本計劃曝光!

    面對競爭激烈的市場,行業(yè)巨頭也難逃“窘境”。 7月31日,據美國彭博社報道:半導體巨頭英特爾公司或將啟動新一輪大規(guī)模裁員行動。這場裁員風暴預計在本周內正式拉開帷幕,具體人數尚未明確,可能達到數千人
    的頭像 發(fā)表于 08-05 10:57 ?368次閱讀
    突發(fā)!英特爾或將裁員數<b class='flag-5'>千人</b>,削減成本計劃曝光!

    英特爾將裁員數千人 降本增效

    裁員、降本增效似乎總在不經意間就來臨,為節(jié)約成本、應對盈利下滑和市場份額下降;英特爾或將裁員數千人。 據彭博社31日報道,英特爾的裁員計劃最早可能會在本周宣布。目前英特爾公司大約有11萬名員工;裁員
    的頭像 發(fā)表于 07-31 18:10 ?1219次閱讀

    薩科微Slkor參與大佳源第八屆千人峰會 宋仕強總經理出席并發(fā)表主旨演講

    主辦、薩科微Slkor半導體等多家單位協辦,以“數字經濟新質生產力”為主題的「2024電子產業(yè)鏈第八屆千人峰會」在深圳寶立方酒店四樓多功能廳隆重舉辦;同時舉辦的還有
    的頭像 發(fā)表于 05-24 08:12 ?453次閱讀
    薩科微Slkor參與大佳源第八屆<b class='flag-5'>千人</b>峰會  宋仕強總經理出席并發(fā)表主旨演講

    聯發(fā)科天璣9300搭載通義問大模型,阿里云提供解決方案

    通義問大模型已開源多項版本,包括18億、70億、140億及720億參數等版本伴隨視覺、音頻模態(tài)能力提升。阿里云于去年10月發(fā)布的通義問2.0,其參數規(guī)模已接近千億級。
    的頭像 發(fā)表于 03-28 09:55 ?671次閱讀

    視機架式編解碼器:引領 AV over IP 行業(yè)新風向

    “交鑰匙”的簡化方案?視給出的答案是:在活動會場布置一套機架式編解碼器-即可實現一對/對一傳輸、多畫面監(jiān)看/互動以及跨互聯網制作/管理
    的頭像 發(fā)表于 03-23 08:07 ?1069次閱讀
    <b class='flag-5'>千</b>視機架式編解碼器:引領 AV over IP 行業(yè)新風向

    裁員潮仍在繼續(xù) 諾基亞將在印度裁員約250 谷歌將再裁員數千人

    裁員潮仍在繼續(xù) 諾基亞將在印度裁員約250 谷歌將再裁員數千人 盡管時間已經進入到2024年但是似乎科技巨頭們的大規(guī)模裁員潮仍在繼續(xù)!已經看到外媒有報道諾基亞將在印度裁員約250;此外巨頭谷歌將
    的頭像 發(fā)表于 02-21 11:30 ?1595次閱讀

    思科計劃裁員5%,達數千人

    2月14日,思科(Cisco)宣布最新一季財報,同時表示,作為全公司重組的一部分,計劃裁員5%,達數千人。主要原因是客戶仍處「去庫存」階段,導致思科保守看待營運展望。
    的頭像 發(fā)表于 02-19 14:43 ?979次閱讀

    拓維信息2024全國研發(fā)人才千人招聘計劃正式發(fā)布

    2月7日下午,拓維信息2024全國研發(fā)人才千人招聘計劃啟動儀式,以現場直播的方式在長沙盛大舉行。在中國科技創(chuàng)新由跟隨轉向并行、乃至領跑的關鍵當口,拓維信息作為一家長期深耕IT國產化的上市科技企業(yè)
    的頭像 發(fā)表于 02-19 14:02 ?412次閱讀
    拓維信息2024全國研發(fā)人才<b class='flag-5'>千人</b>招聘計劃正式發(fā)布
    百家乐2号破解下载| 老虎机破解| 总统娱乐城| 皇家百家乐官网出租平台| 百家乐金海岸| 丰顺县| 百家乐如何玩法| 元游棋牌游戏大厅| 红宝石百家乐官网娱乐城| 百家乐正式版| 百家乐官网太阳城小郭| 百家乐波音平台有假吗| 八大胜娱乐城| 百家乐投注法则| 江城足球网| 做生意的怎样招财| 机率游戏| 24山风水发几房| 足球现金网开户| 如何打百家乐官网的玩法技巧和规则 | 世博娱乐城| 百家乐会骗人吗| ea平台| 百家乐最保险的方法| 景东| 信誉百家乐平台| 长岭县| 线上百家乐玩法| 保单百家乐官网游戏机| 百家乐桌德州扑克桌| 华宝娱乐城| 澳门百家乐娱乐城送彩金| 成武县| 线上百家乐代理| 互博百家乐官网现金网| 免费百家乐的玩法技巧和规则 | 百家乐官网游戏台| 百家乐庄牌闲牌| 百家乐官网看图赢| 宝胜娱乐城| 百家乐视频游戏官网|