NVIDIA 開發(fā)了一個全新的生成式 AI 模型。利用輸入的文本和音頻，該模型可以創(chuàng)作出包含任意的音樂、人聲和聲音組合的作品。

一個生成式 AI 研究團隊創(chuàng)造了一把如同瑞士軍刀般多功能的聲音工具，支持用戶只需使用文本就能控制輸出的音頻。

雖然一些 AI 模型可以譜曲或修音，但沒有一個能在靈活性上媲美這個新模型。

根據由任意的文本和音頻文件組合所構成的提示詞，這個名為 Fugatto（Foundational Generative Audio Transformer Opus 1 的縮寫）的模型，可以生成或轉換由任意的音樂、人聲和聲音所構成的作品。

例如，它可以根據文本提示創(chuàng)作音樂片段、在現有歌曲中刪除或添加樂器、改變人聲的口音或情緒，甚至讓人們發(fā)出從未聽過的聲音。

One Take Audio 公司是 NVIDIA 初創(chuàng)加速計劃的成員。該公司的聯(lián)合創(chuàng)始人、曾推出過多張白金唱片的制作人兼詞曲創(chuàng)作人 Ido Zmishlany 表示：“這太瘋狂了！聲音是我的靈感源泉，是我創(chuàng)作音樂的原動力。我可以在錄音室里隨心所欲地創(chuàng)造出全新的聲音，這完全突破了人們的想象。”

準確掌控音頻

NVIDIA 應用音頻研究經理 Rafael Valle 表示：“我們希望創(chuàng)建一個能夠像人類一樣理解和創(chuàng)作聲音的模型。”Rafael Valle 是 Fugatto 背后的十幾個開發(fā)者之一，同時也是一位管弦樂指揮家和作曲家。

Fugatto 可支持眾多音頻生成和轉換任務，是首個展現了新能力（即各種經過訓練的能力相互作用所產生的新能力）并能夠整合自由格式指令的基礎性生成式 AI 模型。

Valle 說：“Fugatto 是我們邁向未來的第一步。未來，音頻合成與轉換中的無監(jiān)督多任務學習將從數據和模型規(guī)模中產生。”

使用場景示例

例如，音樂制作人可以使用 Fugatto 來快速地制作歌曲原型或編輯歌曲創(chuàng)意，嘗試不同的風格、人聲和樂器。他們還可以添加音效，提高現有曲目的整體音質。

Zmishlany 說：“音樂發(fā)展史也是一部技術發(fā)展史。電吉他為我們帶來了搖滾樂。采樣器的出現催生了嘻哈音樂。AI 正在開啟音樂的新篇章。這個新的音樂創(chuàng)作工具令人超級興奮。”

廣告公司可以使用 Fugatto，針對多個地區(qū)或多種情形快速地修改現有的營銷活動素材，在配音中采用不同的口音和情感。

通過使用說話者所選擇的任何人聲，語言學習工具可以實現個性化。試想一下，在線課程以某個家庭成員或朋友的特定聲音進行。

電子游戲開發(fā)人員可以使用該模型來修改游戲中預先錄制的音頻資料，以適應用戶玩游戲時不斷變化的行為。或者，他們可以根據文字說明和可選的音頻輸入來即時地創(chuàng)建新的音頻資料。

制造令人喜悅的聲音

Valle 說道：“在該模型中，特別讓我們引以為豪的是一個稱之為‘鱷梨椅’的功能。”鱷梨椅是一個由針對成像的生成式 AI 模型所創(chuàng)建的新穎的視覺效果。

例如，Fugatto 可以讓小號發(fā)出“汪汪”的狗叫聲，或者讓薩克斯管發(fā)出“喵喵”的貓叫聲。只要用戶能描述出來，該模型就能創(chuàng)造出來。

研究人員發(fā)現，只需微調和少量歌唱數據，它就可以處理未經預訓練的任務，比如根據文本提示來生成高質量的歌聲。

用戶獲得藝術控制權

除了這些新穎之處，Fugatto 還添加了多項功能。

在推理過程中，該模型使用一種名為 ComposableART 的技術，將訓練過程中只能單獨看到的指令組合在一起。例如，一組提示詞可以要求它用法語口音說出帶有悲傷情緒的文字。

該模型能夠在指令之間插入內容，這讓用戶能夠精細地控制文本指令。在這種情況下，用戶可以控制口音的輕重或悲傷的程度。

為該模型設計了相關功能的 AI 研究員 Rohan Badlani 表示：“我想讓用戶可以以主觀或藝術化的方式整合各種屬性，并能夠選擇他們對每個屬性的側重點。”

Badlani 說：“在我進行的測試中，結果常常出人意料，讓我覺得自己有點像藝術家，盡管我是一名計算機專家。”Badlani 擁有斯坦福大學計算機科學碩士學位，主攻人工智能。

這個模型還能生成隨著時間的推移而不斷變化的聲音，他把這種功能稱為時間插值。例如，它可以產生暴雨經過某個區(qū)域的聲音，雷聲逐漸增大，然后慢慢地消失在遠方。它還能讓用戶精細地控制聲景的演變。

此外，大多數模型只能重現它們所接觸過的訓練數據，而 Fugatto 則不同，它讓用戶能夠創(chuàng)建從未見過的聲景，例如雷雨隨著黎明的來臨逐漸停歇并伴隨著鳥鳴聲。

內在機理

Fugatto 是一個基礎性生成式 Transformer 模型，其源自該團隊之前在諸多領域的研究成果，例如語音建模、音頻聲音編碼和音頻理解等。

模型的完整版使用了 25 億個參數，并在一系列配備 32 塊 NVIDIA Hopper Tensor Core GPU 的 NVIDIA DGX 系統(tǒng)上進行了訓練。

Fugatto 是由一群來自印度、巴西、中國、約旦和韓國等世界各地的人員共同開發(fā)的。他們的通力合作使 Fugatto 的多口音和多語言功能更加強大。

在開發(fā)該模型的過程中，其中一項最困難的工作是生成一個混合數據集，該數據集包含了數百萬個用于訓練的音頻樣本。在生成數據和指令時，該團隊采用了多方面的策略，這大大地擴展了模型可執(zhí)行的任務范圍，同時實現了更精準的性能，并且無需額外數據即可完成新任務。

這些開發(fā)人員還仔細地研究了現有數據集，以揭示數據之間的新關系。整個工作持續(xù)了一年多。

Valle 提到了兩個重要時刻，它們讓團隊意識到自己走在正確的路上。他說：“它第一次根據提示詞成功地生成音樂時，我們都驚呆了。”

后來，團隊演示了 Fugatto 根據提示詞而創(chuàng)作出電子音樂，其中的狗叫聲實現了與節(jié)拍同步。

“當大家捧腹大笑時，我的心里真的感到很溫暖。”