吴忠躺衫网络科技有限公司

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

從Satin到Lyra為什么微軟、谷歌都盯向音頻編解碼器?

LiveVideoStack ? 來源:LiveVideoStack ? 作者:LiveVideoStack ? 2021-05-24 15:36 ? 次閱讀

回顧今年的2月份,可以說是音頻編解碼器最為熱鬧的一個月。先是微軟宣布推出最新款由AI支持的音頻編解碼器——Satin。僅一周后,谷歌推出了用于語音壓縮的新型超低比特率音頻編解碼器——Lyra,并且Android版本已開源。在此,也非常感謝來自國內音頻領域的知名業內人士對本文發表評論及審校。

不難發現,硅谷大佬們對音頻編解碼器的深度研發進度已提上日程,對未來可應用的場景讓人們充滿期待。值得注意的是這兩款音頻編解碼器都是基于AI的語音編碼,但它們又有各自不同的特點。

Satin:用于實時通信的AI音頻編解碼器 作為一款由人工智能驅動的音頻編解碼器,Satin可以在網速6kbps時提供超寬頻段的語音,17kbps時提供全頻段的立體聲音樂,網速越高,質量越高。

Satin旨在高丟包率下也提供良好的音頻質量。此外,在冗余算法的改進下,可以應對突發丟包情況,提供更好的保護。以下是經過改進的彈性算法和Satin編解碼器的最終效果: SILK@6kbps,突發數據包丟失(附加6kbps的冗余) Satin@6kbps,突發數據包丟失,改進的冗余算法(附加6kbps的冗余)

相對于Silk推出的超寬帶語音,12kHz的頻率,以24kHz的采樣率(在人類聲音超過12kHz的頻率時,能量會迅速下降);Satin重新定義了超寬帶,以覆蓋16kHz的頻率,采樣率在32kHz,以提供更高的清晰度和穩定性,而其高效的壓縮功能則可以實現6 kbps的超寬帶語音。

4f0e8eb2-bc62-11eb-bf61-12bb97331649.png

/ t /一詞在“ suit”一詞中的頻率分量。除了4 kHz的窄帶截止甚至8 kHz的寬帶截止以外,還有大量的能量。將能量保留在較高的頻譜分量中會導致聲音聽起來更加自然。 以下分別為在6kbps下,Silk窄帶和Satin超寬帶的音頻示例(建議使用耳機試聽): 為了保證在6kbps超寬帶下的語音質量,Satin使用對語音產生、建模和心理聲學的深度理解來提取和編碼信號的稀疏表達。

為了進一步降低所需的比特率,Satin只在較低的頻帶中編碼和傳輸某些參數。在解碼器上,Satin使用深層神經網絡從接收到的低頻帶參數以及通過導線發送的最少量輔助信息中估計高頻帶參數。 雖然這種方法解決了在超低比特率下對使用超寬帶語音的最大挑戰,但也帶來了計算復雜度的新挑戰。對此,微軟將重心放在對算法優化和循環向量化等技術上,使計算復雜度降低40%,并保障能夠在所有用戶的設備上運行。

4f31376e-bc62-11eb-bf61-12bb97331649.png

除此之外,微軟還關注到了關于Satin的丟包數據恢復能力。對此,Satin對每個數據包進行獨立編碼,因此丟失一個數據包的效果不會影響后續數據包的質量。編解碼器還被設計為有助于在內部參數域中隱藏高質量的丟包。這些功能可幫助Satin無縫處理隨機丟失,一次丟失一個或兩個數據包。

目前,Satin已被用于所有Teams和Skype兩方通話,并將很快用于Teams會議。目前,它以6-36 kbps的比特率范圍在寬帶語音模式下運行,并且在不久的將來將擴展為以48 kHz的最大采樣率支持全頻帶立體聲音樂。

Lyra:一款用于語音壓縮的新型超低比特率編解碼器 Lyra是由谷歌團隊研發并已開源了Android版本。它所擁有的能力在于能在3kbps網絡帶寬下為用戶提供自然清晰的語音聊天,以及僅90ms延遲的情況下在從高端云服務器到中端智能手機的任何設備上運行。(有關Lyra的詳細介紹請瀏覽:在3kbps的帶寬下還能清晰地語音聊天?)

對比Satin & Lyra:雖然這兩個音頻編解碼器都能夠在低比特率下進行操作,并通過AI提供動力,但它們有很大的不同。Lyra僅專注于窄帶,而Satin則致力于超寬帶。 另外,國內音頻領域的知名業內人士指出:“在AI Codec領域中,有兩種方式。一種是 end to end 也就是全AI,所以Lyra屬于全AI結構

。而另一種是hybird結構,就是只有部分模塊才使用AI,因此Satin是hybird結構。那么之所以現在才使用AI與音頻編解碼器結合,是因為在相同碼率下,使用AI能夠大幅提升音頻質量。”

相關鏈接: https://mp.weixin.qq.com/s/Y1wceNAuMO7X8Vq3NiJ_GQ https://techcommunity.microsoft.com/t5/microsoft-teams-blog/satin-microsoft-s-latest-ai-powered-audio-codec-for-real-time/ba-p/2141382 https://bloggeek.me/lyra-satin-webrtc-voice-codecs/

編輯:jq

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 寬帶
    +關注

    關注

    4

    文章

    994

    瀏覽量

    60524
  • 數據
    +關注

    關注

    8

    文章

    7139

    瀏覽量

    89576
  • AI
    AI
    +關注

    關注

    87

    文章

    31513

    瀏覽量

    270330
  • 音頻編解碼器

    關注

    4

    文章

    140

    瀏覽量

    55937

原文標題:從Satin到Lyra 為何微軟、谷歌都盯向音頻編解碼器?

文章出處:【微信號:livevideostack,微信公眾號:LiveVideoStack】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    國芯思辰| 單聲道音頻編解碼器SC2601應用于錄音筆,替換ES8311

    國芯思辰| 單聲道音頻編解碼器SC2601應用于錄音筆,替換ES8311
    的頭像 發表于 01-07 10:33 ?167次閱讀
    國芯思辰| 單聲道<b class='flag-5'>音頻</b><b class='flag-5'>編解碼器</b>SC2601應用于錄音筆,替換ES8311

    TLV320AIC28音頻編解碼器評估模塊

    電子發燒友網站提供《TLV320AIC28音頻編解碼器評估模塊.pdf》資料免費下載
    發表于 12-20 16:02 ?0次下載
    TLV320AIC28<b class='flag-5'>音頻</b><b class='flag-5'>編解碼器</b>評估模塊

    替換ES8311,音頻編解碼器SC2601在行車記錄儀中的應用

    替換ES8311,音頻編解碼器SC2601在行車記錄儀中的應用
    的頭像 發表于 11-29 10:07 ?291次閱讀
    替換ES8311,<b class='flag-5'>音頻</b><b class='flag-5'>編解碼器</b>SC2601在行車記錄儀中的應用

    配置I2S以編解碼器設備生成BCLK

    電子發燒友網站提供《配置I2S以編解碼器設備生成BCLK.pdf》資料免費下載
    發表于 10-21 10:30 ?0次下載
    配置I2S以<b class='flag-5'>從</b><b class='flag-5'>編解碼器</b>設備生成BCLK

    TMS320F2833x與AIC23B立體聲音頻編解碼器的接口

    電子發燒友網站提供《TMS320F2833x與AIC23B立體聲音頻編解碼器的接口.pdf》資料免費下載
    發表于 10-15 09:21 ?0次下載
    TMS320F2833x與AIC23B立體聲<b class='flag-5'>音頻</b><b class='flag-5'>編解碼器</b>的接口

    Linux上的編解碼器移植TMS320DM365預覽版

    電子發燒友網站提供《Linux上的編解碼器移植TMS320DM365預覽版.pdf》資料免費下載
    發表于 10-14 10:53 ?0次下載
    Linux上的<b class='flag-5'>編解碼器</b>移植TMS320DM365預覽版

    TMS320DM365中的智能編解碼器功能

    電子發燒友網站提供《TMS320DM365中的智能編解碼器功能.pdf》資料免費下載
    發表于 10-14 10:24 ?0次下載
    TMS320DM365中的智能<b class='flag-5'>編解碼器</b>功能

    音頻編解碼器和ADC中有哪些常見噪聲問題,如何幫助避免這些問題?

    音頻編解碼器和 ADC 中有哪些常見噪聲問題,如何幫助避免這些問題?
    發表于 10-10 08:09

    音頻編解碼器中的常見噪聲問題

    電子發燒友網站提供《音頻編解碼器中的常見噪聲問題.pdf》資料免費下載
    發表于 10-09 10:19 ?0次下載
    <b class='flag-5'>音頻</b><b class='flag-5'>編解碼器</b>中的常見噪聲問題

    帶你探索HiFi智能編解碼器的奇妙世界

    HiFi智能編解碼器就像是音頻世界的魔法師,它讓我們能聽到最真實、最動人的聲音。無論是家庭音響、智能音箱,還是無線耳機和專業設備,這個小小的設備都能帶來巨大的音質提升。讓我們一同期待,未來HiFi智能編解碼器為我們帶來的更多驚喜
    的頭像 發表于 07-18 17:20 ?937次閱讀
    帶你探索HiFi智能<b class='flag-5'>編解碼器</b>的奇妙世界

    音頻編解碼器AC'97電壓轉換收發數據表

    電子發燒友網站提供《音頻編解碼器AC'97電壓轉換收發數據表.pdf》資料免費下載
    發表于 05-28 10:52 ?0次下載
    <b class='flag-5'>音頻</b><b class='flag-5'>編解碼器</b>AC'97電壓轉換收發<b class='flag-5'>器</b>數據表

    國產可編程振蕩在視頻編解碼器中的應用,兼容SiTime

    國產可編程振蕩在視頻編解碼器中的應用,兼容SiTime
    的頭像 發表于 04-17 09:39 ?2329次閱讀
    國產可編程振蕩<b class='flag-5'>器</b>在視頻<b class='flag-5'>編解碼器</b>中的應用,兼容SiTime

    集成電源管理和音頻編解碼器TPS65950數據表

    電子發燒友網站提供《集成電源管理和音頻編解碼器TPS65950數據表.pdf》資料免費下載
    發表于 03-06 11:15 ?0次下載
    集成電源管理和<b class='flag-5'>音頻</b><b class='flag-5'>編解碼器</b>TPS65950數據表

    TPS65920和TPS65930集成電源管理/音頻編解碼器數據表

    電子發燒友網站提供《TPS65920和TPS65930集成電源管理/音頻編解碼器數據表.pdf》資料免費下載
    發表于 03-06 10:55 ?0次下載
    TPS65920和TPS65930集成電源管理/<b class='flag-5'>音頻</b><b class='flag-5'>編解碼器</b>數據表

    高性能立體聲編解碼器DA7400 數據表

    電子發燒友網站提供《高性能立體聲編解碼器DA7400 數據表.pdf》資料免費下載
    發表于 02-20 10:11 ?1次下載
    高性能立體聲<b class='flag-5'>編解碼器</b>DA7400 數據表
    百家乐官网最好的投注法| 百家乐tt赌场娱乐网规则| 悦榕庄百家乐官网的玩法技巧和规则| 澳门百家乐官网出千吗| 连环百家乐官网怎么玩| 百家乐官网高级技巧| 百家乐官网baccarat| 百家乐官网网络赌博网| 金赞百家乐官网的玩法技巧和规则| 英皇百家乐官网的玩法技巧和规则 | 中骏百家乐的玩法技巧和规则| 巴厘岛百家乐的玩法技巧和规则 | 大发888充值网站| 金钻国际| 太阳城娱乐网| 利记百家乐官网现金网| 真人百家乐官网玩法| 百家乐官网英皇娱乐场开户注册| 皇城百家乐官网娱乐城| 好运来百家乐现金网| 百家乐平台注册| 大发888官方网址| 网上现金赌场| 澳门百家乐官网会出千吗| 百家乐官网最新破| 现场百家乐电话投注| 百家乐b28博你发v| 网络赌博| 百家乐官网走势图解| 做生意属虎的朝向| 大玩家百家乐的玩法技巧和规则| 百家乐过滤软件| 网上老虎机| 百家乐官网哪条路准| 百家乐认牌| 大发888国际体育| 博盈百家乐官网游戏| 鼎尚百家乐官网的玩法技巧和规则 | 伟德国际博彩| 百家乐试玩全讯网2| 太阳城二手房|