中科深智成立于 2016 年,是一家專注于端到端生成式 AI 虛擬人技術的公司,從底層自研的大語言模型、動作和表情生成算法模型以及 3D 自動建模,到 Motionverse 虛擬人業(yè)務中臺,再到 3D 生成式 AI 產品和應用層。中科深智除了為生態(tài)合作伙伴提供 AI 虛擬人 API 外,還開發(fā)了一系列 3D 生成式 AI 產品,包括超寫實虛擬人生成系統 Anyhuman、元宇宙電商和虛擬人直播工具百寶箱自動播、AI 快速動畫生成系統自動畫、虛擬人實時交互和應答系統云小七等。
傳統 NPC 人機交互
生硬且成本高昂
在動作和表情方面,傳統 NPC 因為無法獲取用戶的畫面信息和語音信息,也就無法做出實時的反饋,動作和語音的呈現皆靠預設,所謂的人機交互其實非常的刻板和生硬。
在文字和語音的對話能力方面,大語言模型的出現賦予了 NPC 實時對話的能力。但無論是何種大語言模型的誕生,都經歷了數據清洗、預訓練、指令微調、測試、合規(guī)、部署和應用接口開發(fā)等環(huán)節(jié),這些環(huán)節(jié)此前是彼此分散的,而并非一體化的,這也意味著每兩個環(huán)節(jié)之間都需要進行大量的人工處理和匹配部署,這本質上是對人力成本和時間成本的浪費,亟需一種更加省時和高效的解決方案。
NVIDIA 賦能游戲 NPC
實現智能化互動
中科深智的虛擬人實時交互和應答系統云小七可以支持智能 NPC 的批量化生產,提升游戲開發(fā)效率。云小七基于生成式 AI 的設計,可以通過將 NPC 賦予如形象、聲音、性格特征、背景等特定的人設來與游戲內容進行有機融合。此外,云小七還能夠在不需要編寫復雜腳本的情況下,讓 NPC 與游戲玩家進行順暢的文字、語音、動作、表情等多模態(tài)的實時互動。這將為游戲開發(fā)商帶來更有力的支持,同時也為玩家提供更加生動、真實的游戲體驗。云小七的核心能力之一還包括中科深智自研實現的 CLAP 大模型算法,這種算法可以實現對于語音、語義以及外部環(huán)境輸入的實時反饋,從而輸出動作和表情等,使得 NPC 具有更加生動的表現能力。
NVIDIA Omniverse 中的 Audio2Face 可以輔助云小七實現音頻輸入的面部輸出,通過預訓練的深度神經網絡、調整角色網格的 3D 頂點等方式,快速實現表情切換。通過利用 NVIDIA Maxine 對于音頻和視頻通信方面進行優(yōu)化,即使用戶使用普通的麥克風和攝像頭,NPC 也能監(jiān)測到他們的行為并且產生反饋,與玩家實現實時互動。
此外,云小七底層的文字對話能力來自于中科深智今年 5 月推出的自有大語言模型 GenSense 數智姜尚。數智姜尚是國內商用大模型在輕量化領域內的重要嘗試,是針對垂直領域和虛擬人端到端應用而專門設計的大語言模型,可成為虛擬人的“大腦”,為其提供實時互動的能力支撐。數智姜尚采用了先進的優(yōu)化技術,輕巧便利且占用資源極少,可為用戶提供流暢的使用體驗。配合 NVIDIA GPU,數智姜尚能夠以高性能運行并展現出色的表現。其次,數智姜尚的部署和定制非常簡便,可以輕松集成到現有的企業(yè)工作流中,為用戶提供個性化和智能化的解決方案,同時實現快速的模型訓練和應用部署。
NVIDIA NeMo 在數智姜尚的訓練過程中提供了低門檻、經濟、高效的幫助。
首先,NVIDIA NeMo 幫助解決了訓練全流程的問題,包括數據清洗、預訓練和指令微調,以及測試、合規(guī)、部署和應用接口開發(fā)等。在此之前,這需要多個架構才能完成,因此極大的提高了自有模型的開發(fā)效率。
同時,NVIDIA NeMo 還提供了大量的、可應用于多個不同場景的預訓練模型。選擇 NVIDIA 已經訓練好的模型,能夠大幅縮短微調和再訓練的時間,也幫助擴充了中科深智自身大模型數智姜尚的適應性。NeMo 本身的 ASR/TTS 也直接帶來了自然交互工具,無需借助第三方,從而加速了數智姜尚的開發(fā)和交付。
此外,通過使用 NVIDIA 提供的 NeMo Guardrails 工具,中科深智還高效解決了對話式 AI 合規(guī)性和安全性的風險。通過 NeMo Guardrails 為對話設置響應的范圍和邊界,使數智姜尚的回答范圍僅限于適當的主題并僅提供必要的信息,能夠限制 AI 只與已確認安全的第三方應用程序建立聯系。
NVIDIA 助力中科深智
加速AI 對話數字人建設
中科深智聯合創(chuàng)始人兼 CTO 宋健說:“中科深智是 NVIDIA 初創(chuàng)加速計劃的高級會員,通過該計劃,一方面中科深智與 NVIDIA 進行了深入的技術合作,另外一方面也鏈接到大量外部企業(yè)資源,可以快速有效的將產品和需求方進行對接。
大模型驅動的對話式 AI 和數字人的結合引發(fā)了新一輪的商業(yè)增量,也是我們的企業(yè)客戶關注的重點。對話式數字人正在不同領域發(fā)揮著越來越大的作用,幫助企業(yè)用戶解決客戶服務等難題,提高客戶的體驗。然而開發(fā)和運行可落地的語音人工智能服務仍然是一項復雜而艱巨的任務,通常需要面臨實時性、可理解性、自然性、低資源、魯棒性等挑戰(zhàn)。在 NVIDIA 初創(chuàng)加速計劃的支持之下,我們深入了解并且成功應用了 NVIDIA 各項最新技術和工具,包括 NVIDIA Nemo,NVIDIA Omniverse 等等,切實幫助我們加速了 AI 對話數字人的建設。”
NVIDIA 初創(chuàng)加速計劃
中科深智是 NVIDIA 初創(chuàng)加速計劃 (NVIDIA Inception) 會員企業(yè)。NVIDIA 初創(chuàng)加速計劃為免費會員制,旨在培養(yǎng)顛覆行業(yè)格局的優(yōu)秀創(chuàng)業(yè)公司。該計劃聯合國內外知名的風投機構,創(chuàng)業(yè)孵化器,創(chuàng)業(yè)加速器,行業(yè)合作伙伴以及科技創(chuàng)業(yè)媒體等,打造創(chuàng)業(yè)加速生態(tài)系統。能夠提供產品折扣,技術支持,市場宣傳,融資對接,業(yè)務推薦等一系列服務,加速創(chuàng)業(yè)公司的發(fā)展。
想獲得 NVIDIA 初創(chuàng)加速生態(tài)助力?掃描下方二維碼,僅需一分鐘填寫意向申請表單,獲得快速聯系。
![66502e82-1ffc-11ee-962d-dac502259ad0.png](https://file1.elecfans.com//web2/M00/9D/A8/wKgZomToCb2ADUpOAAAWAvNodF0214.png)
原文標題:NVIDIA 賦能中科深智實現 NPC 與玩家的千人千面多模態(tài)互動
文章出處:【微信公眾號:NVIDIA英偉達】歡迎添加關注!文章轉載請注明出處。
-
英偉達
+關注
關注
22文章
3847瀏覽量
91973
原文標題:NVIDIA 賦能中科深智實現 NPC 與玩家的千人千面多模態(tài)互動
文章出處:【微信號:NVIDIA_China,微信公眾號:NVIDIA英偉達】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
相關推薦
![](https://file1.elecfans.com/web3/M00/06/A4/wKgZO2eN4dmAWH2dAAPhhyGFzsw191.png)
東軟載波榮獲2024十城千人天光云影計劃參與貢獻獎
十城千人天光云影計劃第十一站在廣州祈福酒店順利召開
![十城<b class='flag-5'>千人</b>天光云影計劃第十一站在廣州祈福酒店順利召開](https://file1.elecfans.com//web1/M00/F5/54/wKgaoWc68u2ABuHgAAGk23iQCws35.jpeg)
中科創(chuàng)達推動下一代多模態(tài)智能機器人創(chuàng)新
千覺機器人完成數千萬元天使輪融資
Meta發(fā)布多模態(tài)LLAMA 3.2人工智能模型
愛普生有源晶體振蕩器SG3225EEN應用于儲能NPC、新能源
突發(fā)!英特爾或將裁員數千人,削減成本計劃曝光!
![突發(fā)!英特爾或將裁員數<b class='flag-5'>千人</b>,削減成本計劃曝光!](https://file1.elecfans.com//web2/M00/00/92/wKgZomawP46AevyNAACV7eWrVh4494.jpg)
英特爾將裁員數千人 降本增效
薩科微Slkor參與大佳源第八屆千人峰會 宋仕強總經理出席并發(fā)表主旨演講
![薩科微Slkor參與大佳源第八屆<b class='flag-5'>千人</b>峰會 宋仕強總經理出席并發(fā)表主旨演講](https://file.elecfans.com/web2/M00/22/A2/pYYBAGGoJX-AUXHrAAAd6tgXDNE299.jpg)
聯發(fā)科天璣9300搭載通義千問大模型,阿里云提供解決方案
千視機架式編解碼器:引領 AV over IP 行業(yè)新風向
![<b class='flag-5'>千</b>視機架式編解碼器:引領 AV over IP 行業(yè)新風向](https://file.elecfans.com/web2/M00/1A/45/pYYBAGF6TKSAIJMAAAAJ9XZNkno543.jpg)
裁員潮仍在繼續(xù) 諾基亞將在印度裁員約250人 谷歌將再裁員數千人
思科計劃裁員5%,達數千人
拓維信息2024全國研發(fā)人才千人招聘計劃正式發(fā)布
![拓維信息2024全國研發(fā)人才<b class='flag-5'>千人</b>招聘計劃正式發(fā)布](https://file.elecfans.com/web2/M00/46/D0/pYYBAGKV5wiAQkFLAAA0HUPKaH4034.jpg)
評論