你喜歡合成器驅(qū)動(dòng)的樂(lè)隊(duì)，比如 Depche Mode 、 Erasure 或 Kraftwerk 嗎？你想過(guò)在家里用合成器創(chuàng)作自己的音樂(lè)有多酷嗎？如果在NVIDIA 的幫助下，這一過(guò)程能得到加強(qiáng)呢 Jetson 納米 ？

最新的 Jetson 本月最佳項(xiàng)目 已經(jīng)找到了一種方法來(lái)實(shí)現(xiàn)這一點(diǎn)，將 Eurorack synthesizer 與 Jetson 納米結(jié)合起來(lái)，創(chuàng)造了 Neurorack 。這款音樂(lè)音頻合成器是第一款將深度生成模型的強(qiáng)大功能與 Eurorack 機(jī)器的緊湊性相結(jié)合的產(chǎn)品。

“這個(gè)項(xiàng)目的目標(biāo)是設(shè)計(jì)下一代樂(lè)器，為音樂(lè)家提供一種新的工具，同時(shí)增強(qiáng)音樂(lè)家的創(chuàng)造力。它提出了一種新的思考和創(chuàng)作音樂(lè)的方法，”這些應(yīng)用程序開(kāi)發(fā)人員指出，他們是人工創(chuàng)造智能和數(shù)據(jù)科學(xué)（［about］ and compose music ，” noted the app developers ， who are members of Artificial Creative Intelligence and Data Science （ ACIDS ）小組的成員，總部設(shè)在法國(guó)巴黎的 IRCAM 實(shí)驗(yàn)室。“我們深信人工智能可以用來(lái)實(shí)現(xiàn)這一目標(biāo)。”

Neurorack 的實(shí)時(shí)功能依賴于 Jetson Nano 的處理能力和 尼農(nóng)·戴夫的研究 制作訓(xùn)練模型，這些模型在計(jì)算和內(nèi)存占用方面都很輕。

“我們最初的夢(mèng)想是找到一種方法，將深度模型小型化，并允許它們嵌入嵌入式音頻硬件和合成器中。由于我們對(duì)各種形式的合成器都充滿熱情，尤其是Eurorack，我們認(rèn)為直接使用這種格式是有意義的，因?yàn)樗腥ano從一開(kāi)始就是我們的首選…它讓我們能夠在不損失音質(zhì)的情況下依賴深度模型，同時(shí)保持實(shí)時(shí)性限制，”Devis說(shuō)。

開(kāi)發(fā)商在接近該項(xiàng)目時(shí)有幾個(gè)關(guān)鍵的設(shè)計(jì)考慮，包括：

音樂(lè)性：選擇的生成模型可以產(chǎn)生不使用樣本就無(wú)法合成的聲音。

可控性：他們選擇的界面方便且易于操作。

實(shí)時(shí)性：硬件的行為就像傳統(tǒng)的合成器，并且同樣具有反應(yīng)性。

獨(dú)立功能：無(wú)需電腦即可播放。

正如開(kāi)發(fā)人員在他們的 NVIDIA 開(kāi)發(fā)者論壇帖子 中提到的這個(gè)項(xiàng)目：“該模型基于一種改進(jìn)的神經(jīng)源濾波器架構(gòu)，它允許基于描述符的打擊聲音實(shí)時(shí)合成。”

Neurorack 使用 PyTorch 深度音頻合成模型（見(jiàn)圖 1 ）生成通常需要樣本的聲音，易于操作，不需要單獨(dú)的計(jì)算機(jī)。

圖 1 ： diagram 顯示模塊的總體結(jié)構(gòu)以及硬件和軟件（綠色）組件之間的關(guān)系。

硬件具有四個(gè)控制電壓（ CV ）輸入和兩個(gè)門（以及用于處理菜單的屏幕、旋轉(zhuǎn)和按鈕），它們都與特定的 Python 庫(kù)通信。這些控件（以及模塊本身）的行為高度依賴于嵌入的深層模型的類型。對(duì)于 Neurorack 的第一個(gè)版本，開(kāi)發(fā)人員實(shí)現(xiàn)了一個(gè)基于描述符的沖擊聲音生成器，如他們的 GitHub 文檔 中所述。

Eurorack 的硬件和軟件是由 ACIS 團(tuán)隊(duì)的 Ninon Devis 、 Philippe Esling 和 Martin Vert 共同開(kāi)發(fā)的。根據(jù)他們 網(wǎng)站 的說(shuō)法， ACIDS “一心想通過(guò)開(kāi)發(fā)創(chuàng)新的人工智能模型來(lái)模擬音樂(lè)創(chuàng)造力。”

項(xiàng)目代碼和硬件設(shè)計(jì)是免費(fèi)的、開(kāi)源的，可在 GitHub repository 中獲得。

該團(tuán)隊(duì)希望讓音樂(lè)家和對(duì)人工智能/嵌入式計(jì)算感興趣的人也能訪問(wèn)該項(xiàng)目。

“我們希望這個(gè)項(xiàng)目能引起兩個(gè)社區(qū)的興趣！現(xiàn)在復(fù)制這個(gè)項(xiàng)目有點(diǎn)技術(shù)性，但我們將致力于簡(jiǎn)化部署，希望能找到其他像我們這樣奇怪的人，” Devis 說(shuō)。“我們堅(jiān)信，為音樂(lè)開(kāi)發(fā)機(jī)器學(xué)習(xí)模型的一個(gè)關(guān)鍵方面將導(dǎo)致賦予創(chuàng)造性表達(dá)能力，即使對(duì)非專家也是如此。”

兩名團(tuán)隊(duì)成員 Devis 和 Esling 使用他們開(kāi)發(fā)的樂(lè)器組建了一支樂(lè)隊(duì)。他們目前正在制作一部全長(zhǎng)的真人秀，將以 Neurorack 為特色，并計(jì)劃在今年 4 月的下一場(chǎng) 法國(guó)綜合藝術(shù)節(jié) 中表演。

關(guān)于作者

Jason Black是 NVIDIA 的自主機(jī)器營(yíng)銷和通信高級(jí)經(jīng)理。作為過(guò)去 25 年的作家和編輯，他喜歡在流行語(yǔ)背后尋找故事的核心。看到機(jī)器人 MIG 把他帶到哪里，他很興奮。

審核編輯：郭婷