亞馬遜云科技助力客戶加速采用生成式AI

模型擴展規?？涨?，并新增推理優化工具及額外的數據功能，為客戶提供了更大的靈活性和控制力，更快構建和部署生產級生成式AI

亞馬遜云科技在2024 re:Invent全球大會上，宣布推出Amazon Bedrock的多項創新功能。Amazon Bedrock是亞馬遜云科技一項完全托管的服務，旨在利用高性能基礎模型構建和擴展生成式人工智能（AI）應用程序。此次發布進一步彰顯了亞馬遜云科技對模型選擇的承諾，同時優化了大規模推理的執行方式，幫助客戶從數據中挖掘更多價值。

在新模型目錄中探索Amazon Bedrock Marketplace模型和Amazon Bedrock完全托管的模型

亞馬遜云科技即將成為首家提供Luma AI和poolside模型的云服務提供商。亞馬遜云科技還將把Stability AI的最新模型添加至Amazon Bedrock，并通過全新的Amazon Bedrock Marketplace功能為客戶提供100多個熱門、新興及專業模型的訪問權限，客戶可根據自身用例找到最合適的模型組合。

全新的提示詞緩存功能和Amazon Bedrock Intelligent Prompt Routing提示詞智能路由功能幫助客戶更輕松、更經濟地擴展推理業務。

Amazon Bedrock Knowledge Bases現已提供對結構化數據和GraphRAG的支持，進一步拓展了客戶利用自身數據提供定制化生成式AI體驗的途徑。

Amazon Bedrock Data Automation功能能夠在無需編寫代碼的情況下，自動將非結構化、多模態的數據轉換為結構化數據，以幫助客戶將更多數據應用于生成式AI及分析工作中。

數以萬計的客戶信賴Amazon Bedrock運行其生成式AI應用程序，過去一年使用該服務的客戶量增長了4.7倍。Adobe、Argo Labs、寶馬集團、Octus、Symbeo、Tenovos和Zendesk等公司已采用Amazon Bedrock的最新技術。

亞馬遜云科技人工智能和數據副總裁Swami Sivasubramanian博士表示："Amazon Bedrock服務持續快速增長，因其廣泛而領先的模型選擇、可輕松基于自身數據進行定制的工具、內置的負責任的AI功能以及開發復雜智能體的能力成為越來越多客戶的選擇。為了讓客戶充分釋放生成式AI的潛力，Amazon Bedrock一直致力于解決開發人員當前面臨的最大挑戰。通過此次新發布的一系列新功能，我們將幫助客戶開發出更智能的AI應用程序，讓他們為其最終用戶創造更大價值。"

匯集領先AI公司的廣泛模型選擇

Amazon Bedrock為客戶提供豐富的完全托管的模型選擇，這些模型來自領先的AI公司，包括AI21 Labs、Anthropic、Cohere、Meta、Mistral AI以及Stability AI等。此外，Amazon Bedrock是客戶使用新發布的Amazon Nova模型的唯一渠道。Amazon Nova是新一代基礎模型，以行業領先的性價比為廣泛的任務提供先進的智能能力。通過此次發布，亞馬遜云科技在Amazon Bedrock上新增更多行業領先的模型，進一步擴展Amazon Bedrock的模型選擇范圍。

Luma AI的Ray 2：Luma AI的多模態模型和軟件產品借助生成式AI推動視頻內容創作。亞馬遜云科技將成為首家向用戶提供Luma AI最先進的Luma Ray 2模型（其著名視頻模型的第二代）的云服務提供商。Ray 2標志著生成式AI輔助視頻創作的重大進步，它能夠依據文本和圖像高效且以電影級質感生成高質量、逼真的視頻。用戶能夠快速嘗試不同的拍攝角度和風格，創建角色連貫、物理效果準確的視頻，可為建筑、時尚、電影、平面設計以及音樂等領域提供創意性輸出。

poolside的malibu和point：poolside解決大型企業現代軟件工程面臨的挑戰。亞馬遜云科技將成為首家提供poolside的malibu和point模型訪問權限的云服務提供商，這兩個模型在代碼生成、測試、文檔編制以及實時代碼補全方面表現出色。這有助于工程團隊提高生產力，更快編寫出更優質的代碼，并加速產品開發周期。這兩種模型還能夠依據客戶的代碼庫、實踐操作以及文檔進行安全、私密的微調，使其能夠適配特定項目，幫助客戶以更高的準確性和效率處理日常軟件工程任務。此外，亞馬遜云科技還將成為首家提供poolside Assistant訪問權限的云服務提供商，該功能可以將poolside的malibu和point模型強大的功能融入開發人員首選的集成開發環境（IDE）之中。

Stability AI的Stable Diffusion 3.5 Large：Stability AI是視覺媒體領域領先的生成式AI模型開發商，在圖像、視頻、3D和音頻方面擁有先進的模型。Amazon Bedrock即將添加Stable Diffusion 3.5 Large這一Stability AI最先進的文本轉圖像模型。該模型能夠依據各種風格的文本描述生成高質量圖像，加速為媒體、游戲、廣告以及零售領域的客戶創建概念藝術、視覺效果以及詳細的產品圖像。

通過Amazon Bedrock Marketplace訪問100多個熱門、新興和專業模型

盡管Amazon Bedrock中的模型能夠支持眾多任務，許多客戶仍希望將新興的專用模型融入到他們的應用程序中，為其獨特的用例，如分析財務文檔或生成新型蛋白質等提供支持。借助Amazon Bedrock Marketplace，客戶如今能夠輕松地從100多個模型中進行查找與選擇，這些模型可部署在亞馬遜云科技上，并能通過Amazon Bedrock中的統一體驗進行訪問。這涵蓋了諸如Mistral AI的Mistral NeMo Instruct 2407、Technology Innovation Institute的Falcon RW 1B以及NVIDIA NIM微服務等熱門模型，以及眾多專業模型，如用于金融行業的Writer的Palmyra-Fin、用于翻譯的Upstage的Solar Pro、Camb.ai的文本轉音頻MARS6以及用于生物學的EvolutionaryScale的ESM3生成模型等。

客戶一旦找到他們想用的模型，就能依據自身擴展需求選擇合適的基礎設施，并通過完全托管端點輕松將其部署在亞馬遜云科技上?？蛻綦S后可將該模型與Amazon Bedrock的統一應用程序編程接口（API）安全集成，從而使用諸如Guardrails和Agents等工具，并受益于內置的安全和隱私功能。

Zendesk是一家全球服務軟件公司，服務于覆蓋全球10萬個品牌的多元文化客戶群體。該公司可在Amazon Bedrock中使用如用于翻譯的Widn.AI等專用模型，通過電子郵件、聊天、電話以及社交媒體對客戶服務請求進行個性化和本地化處理。這將為客服人員提供其所需的數據，比如客戶母語表達中的情緒或意圖等，最終提升客戶服務體驗。

提示詞緩存和Intelligent Prompt Routing幫助客戶大規模處理推理問題

在選擇模型時，開發人員需要權衡多種因素，如準確性、成本和延遲。針對其中任一因素進行優化，都可能意味著在其他因素上做出讓步。為了在將應用程序部署到生產環境時平衡這些考量因素，客戶會采用多種技術，例如緩存常用提示詞或將簡單問題分配給較小模型。然而，運用這些技術既復雜又耗時，需要專業知識來反復測試不同的方法，以確保終端用戶獲得良好的體驗。正因如此，亞馬遜云科技新增了兩項功能，幫助客戶更有效地大規模管理提示詞信息。

通過緩存提示詞功能降低響應延遲和成本。Amazon Bedrock現已支持安全地緩存提示詞，從而減少重復處理，且不會影響準確性。對于受支持的模型，此功能最高可將成本降低90%，并將延遲最多縮短85%。例如，一家律師事務所可以創建一個生成式AI聊天應用程序，用于回答律師有關文件的問題。當多名律師在提示詞中詢問關于文檔同一部分的問題時，Amazon Bedrock能夠緩存該部分內容，使其只需處理一次，之后每當有人想要詢問相關問題時便可重復使用。這通過減少模型每次需要處理的信息量來降低成本。Adobe的Acrobat AI助手通過實現快速文檔摘要和問答功能，提高了用戶的工作效率。根據初步測試，借助Amazon Bedrock上的提示詞緩存功能，Adobe發現其響應時間縮短了72%。

提示詞智能路由功能有助于優化響應質量和成本。借助該功能，客戶能配置Amazon Bedrock 自動把提示詞分配至同一模型系列里的不同基礎模型，以優化響應質量和成本。運用先進的提示詞匹配和模型理解技術，提示詞智能路由能夠預測每個請求對應的每個模型的性能，并將請求動態路由至最有可能以最低成本提供所需響應的模型。提示詞智能路由可在不影響準確性的情況下，將成本降低多達30%。Argo Labs為餐廳提供創新的語音代理解決方案，通過提示詞智能路由處理各類客戶咨詢和預訂業務。當客戶提交問題、下單以及預訂位置時，Argo Labs的語音聊天機器人會動態地將查詢請求路由至最合適的模型，從而優化響應的成本和質量。例如，像"今晚這家餐廳有空桌嗎？"這樣簡單的是非問題，可以由較小模型處理，而"這家餐廳提供哪些素食選項？"這類更復雜的問題則可由較大模型來回答。借助提示詞智能路由功能，Argo Labs能夠利用其語音代理無縫處理客戶交互，同時實現準確性和成本之間的合理平衡。

Amazon Bedrock知識庫的兩項新功能助力客戶最大程度發揮數據價值

無論自身數據存儲于何處、采用何種格式，客戶都希望利用它們為終端用戶構建獨特的由生成式AI驅動的體驗。知識庫是一項全托管功能，客戶借助檢索增強生成（RAG），能夠輕松利用上下文相關及關聯數據自定義基礎模型的響應。雖然知識庫已能便捷地連接至諸如Amazon OpenSearch Serverless和Amazon Aurora等數據源，但許多客戶還希望將其他數據源和數據類型融入其生成式AI應用程序中?；诖?，亞馬遜云科技為知識庫新增了兩項功能。

結構化數據檢索支持功能加速生成式AI應用程序開發。Knowledge Bases提供了首批托管式、開箱即用的RAG解決方案之一，使客戶能夠直接查詢其生成式AI應用程序中結構化數據的存儲位置。這一功能有助于打破數據源之間的數據孤島，將生成式AI開發周期從一個多月縮短至短短幾天?？蛻裟軌驑嫿☉贸绦?，讓應用程序運用自然語言查詢來探索存儲在Amazon SageMaker Lakehouse、Amazon S3數據湖以及Amazon Redshift等數據源中的結構化數據。借助這項新功能，提示詞信息會轉換為SQL查詢，用于檢索數據結果。Knowledge Bases會依據客戶的架構和數據自動調整，從查詢模式中學習，并提供一系列定制選項，進一步提高所選用例的準確性。信用情報公司Octus將運用Knowledge Bases中全新的結構化數據檢索功能，允許終端用戶使用自然語言查詢結構化數據。通過將Knowledge Bases與Octus現有的主數據管理系統相連，終端用戶的提示詞信息可轉換為SQL查詢，Amazon Bedrock利用這些SQL查詢檢索相關信息，并將其作為應用程序響應的一部分返回給用戶。這將幫助Octus的聊天機器人向用戶提供精準的、由數據驅動的見解，增強用戶與公司一系列數據產品之間的交互。

GraphRAG支持功能可生成更具相關性的響應。知識圖譜允許客戶通過將不同的相關信息映射成網狀結構來對數據間的關系進行建模和存儲。將這些知識圖譜融入RAG時會格外有用，系統可依據圖譜輕松審閱并檢索相關信息片段。如今，憑借對GraphRAG的支持，Knowledge Bases可讓客戶無需具備圖數據庫專業知識，即可使用Amazon Neptune圖數據庫服務自動生成圖譜，并跨數據鏈接各實體之間的關系。Knowledge Bases能夠更便捷地生成更準確、更相關的響應，借助知識圖譜識別相關聯系，并查看源信息以了解模型如何得出特定響應。寶馬集團將為旗下的My AI Assistant（MAIA）實施GraphRAG。MAIA是一款人工智能驅動的虛擬助手，可幫助用戶查找、理解并整合托管在亞馬遜云科技上的公司內部數據資產。借助由Amazon Neptune支持的GraphRAG自動化圖形建模功能，寶馬集團能夠依據數據使用情況，持續更新MAIA所需的知識圖譜，從其數據資產中提供更具相關且全面的洞察，進而持續為數百萬車主打造優質體驗。

Amazon Bedrock Data Automation將非結構化多模態數據轉換為結構化數據，用于生成式AI和分析

如今，大多數企業數據都是非結構化的，這些數據包含在文檔、視頻、圖像以及音頻文件等內容中。許多客戶希望利用這些數據挖掘見解或為客戶打造新體驗，但將其轉換為便于分析或RAG所需的格式往往是一個艱難的手動過程。例如，銀行在處理貸款業務時可能會接收多個PDF文檔，需要從每個文檔中提取詳細信息，對姓名、出生日期等特征進行標準化以保證一致性，然后將結果轉換為文本格式，再輸入數據倉庫進行分析。借助Amazon Bedrock Data Automation，客戶能夠使用單個API從非結構化內容中大規模自動提取、轉換并生成數據。

Amazon Bedrock Data Automation能夠快速且經濟高效地從文檔、圖像、音頻以及視頻中提取信息，并將其轉換為結構化格式，適用于智能文檔處理、視頻分析以及RAG等用例。該功能可以使用預定義的默認設置生成內容，例如視頻片段每個場景的描述或音頻的轉錄內容，客戶也可以根據自身的數據架構生成定制化的輸出內容，并將其輕松加載到現有的數據庫或數據倉庫中。通過與Knowledge Bases的集成，Amazon Bedrock Data Automation還可以解析內容以支持RAG應用程序，通過整合嵌入在圖像和文本中的信息，提升結果的準確性和相關性。同時，該功能提供置信度評分，并基于原始內容生成響應，有助于降低生成"幻覺"風險并提高透明度。

Symbeo是一家隸屬于CorVel的公司，提供自動化應付賬款解決方案。Symbeo計劃利用Amazon Bedrock Data Automation，從復雜的文檔（如保險理賠、醫療賬單等）中自動提取數據。這將幫助Symbeo的團隊更快速地處理理賠事務，并縮短向客戶回復的周轉時間。數字資產管理平臺Tenovos正在使用Amazon Bedrock Data Automation在大規模語義搜索中提升內容的復用率，復用率提高了50%以上，節省了數百萬美元的營銷費用。

Amazon Bedrock Marketplace現已正式可用，同時Amazon Bedrock Knowledge Bases中的推理管理功能、結構化數據檢索、GraphRAG以及Amazon Bedrock Data Automation均已預覽可用。此外，Luma AI、poolside和Stability AI的模型也即將上線。