基礎模型和高性能數據層這兩個基本組件始終是創建高效、可擴展語言模型應用的關鍵，利用Redis搭建大語言模型，能夠實現高效可擴展的語義搜索、檢索增強生成、LLM 緩存機制、LLM記憶和持久化。有Redis加持的大語言模型可應用于文檔檢索、虛擬購物助手、客戶服務助理等，為企業帶來益處。

一、語言模型構件

應用程序生成、理解和使用人類語言的能力正變得越來越重要，從客服機器人到虛擬助手，再到內容生成，人們對AI應用功能的需求橫跨眾多領域，而這一切的實現，都要歸功于谷歌的 PaLM 2 等基礎模型，這些模型經過精心調教，可以生成類似人類表達風格的內容。

在這一動態環境中，基礎模型和高性能數據層這兩個基本組件始終是創建高效、可擴展語言模型應用的關鍵。

1.基礎模型

基礎模型是生成式人工智能應用的基石，大型語言模型（Large Language Model，LLM）是其中的一個子集。 LLM 通過大量的文本訓練，使其能夠為各種任務生成具有上下文相關性的類似人類表達風格的文本。改進這些模型，使其更加復雜，從而使應用可以更精煉、更有效地響應用戶輸入。所選擇的語言模型會顯著影響應用的性能、成本和服務質量。

然而，PaLM 2 等模型雖然功能強大，但也有其局限性，例如當缺乏特定領域的數據時，模型可能不夠相關，而且可能無法及時呈現新信息或準確信息。 LLM 在提示（prompts）中可以處理的上下文長度（即詞組數量）有硬性限制，此外，LLM 的訓練或微調需要大量的計算資源，這會使成本劇增。要在這些限制和優勢之間取得平衡，需要進行謹慎的策略和強大基礎設施的支持。

2.高性能的數據層

高效的LLM 應用程序由可擴展的高性能數據層支撐，該組件可確保高速交易和低延遲，這對于保持用戶流暢交互至關重要。它在以下方面發揮關鍵作用：

·緩存預計算的請求響應或嵌入

·對過去的交互歷史進行持久化

·進行語義搜索以檢索相關的上下文或知識

向量數據庫已成為一種流行的數據層解決方案。Redis 在向量搜索方面的投入遠遠早于當下的向量數據庫熱潮，這反映了我們具有豐富的經驗，尤其是在性能方面。Redis對于向量搜索的經驗在剛剛發布的 Redis 7.2 版本中得到了體現，該版本包括可擴展搜索功能預覽，與前一版本相比，每秒查詢次數提高了16倍。

基礎模型和向量數據庫在不同行業的LLM 應用中發揮著至關重要的作用，因此引發了業界的極大興趣和炒作。例如，一些較新的獨立向量數據庫解決方案（如 Pinecone）宣布獲得巨額融資，并投入大量精力以贏得開發人員的關注。然而，由于每周都有新的工具出現，因此很難知道哪款工具真的能滿足企業需求。

GCP （Google’s Google Cloud Platform）的與眾不同之處在于其統一的產品，它將功能強大的基礎模型、可擴展的基礎設施，以及一套用于調整、部署和維護這些模型的工具結合在一起，從而能夠確保最高級別的數據安全和隱私安全。

但是，要真正發揮這些進展的潛力，一個高性能且可擴展的數據層是不可或缺的，這就是Redis的作用所在。

3.可擴展語言模型應用的推理架構

GCP 和 Redis Enterprise 用于語言模型應用的推理架構

這里所呈現的推理架構適用于通用語言模型用例。它結合使用了Vertex AI（PaLM 2 基礎模型）、BigQuery 和 Redis Enterprise。

GCP 和 Redis Enterprise 用于語言模型應用的推理架構。

您可以按照開源 GitHub 倉庫中的Colab 筆記本逐步設置此 LLM 架構。

1. 安裝庫和工具： 安裝所需的Python 庫，使用 Vertex AI 進行身份驗證，并創建一個 Redis 數據庫。

2. 創建 BigQuery 表格： 將數據集加載到您的GCP 項目中的 BigQuery 表格中。

3. 生成文本嵌入： 循環遍歷數據集中的記錄，使用PaLM 2 嵌入 API 創建文本嵌入。

4. 加載嵌入： 將文本嵌入和一些元數據加載到運行中的Redis 服務器。

5. 創建向量索引： 運行Redis 命令來創建一個模式和一個新的索引結構，以實現實時搜索。

完成必要的設置步驟后，這個架構就可以支持多種LLM 應用，如聊天機器人和虛擬購物助手。

二．在語言模型（LLM）應用Redis

即使是經驗豐富的軟件開發人員和應用架構師也可能對這個新的知識領域不了解，這個簡短的總結應該能幫助你迅速掌握要點。

1.利用Redis實現高效可擴展的語義搜索

語義搜索從龐大的知識語料庫中提取語義相似的內容。在這個過程中，知識被轉化為可以進行比較的數值嵌入向量，以找到與用戶查詢最相關的上下文信息。

Redis 作為高性能向量數據庫，擅長索引非結構化數據，從而實現高效可擴展的語義搜索。Redis 可以增強應用程序迅速理解和響應用戶查詢的能力，其強大的搜索索引能力有助于實現響應迅速和準確的用戶交互。

** 2.利用Redis實現檢索增強生成**

檢索增強生成（Retrieval-Augmented Generation，RAG）方法利用語義搜索等方法，在將提示發送到 LLM 之前動態地注入事實知識。這種技術最大程度上減少了在專有或頻繁變動的數據上對 LLM 進行微調的需求。RAG 允許對 LLM 進行上下文增強，使其能夠更好地處理當前的任務，例如回答具體問題、總結檢索內容或生成新內容。

作為向量數據庫和全文搜索引擎，Redis 有助于 RAG 工作流的順暢運行。由于其低延遲的數據檢索能力，Redis 常常是執行此任務的首選工具。它確保語言模型迅速而準確地獲得所需的上下文，促進了人工智能應用高效的執行任務。
檢索增強生成（RAG）架構示例

3.利用Redis實現LLM 的緩存機制

緩存是增強LLM 響應能力和計算效率的強大技術手段。

標準緩存提供了一種機制，用于存儲并快速檢索預生成的常見查詢響應，從而降低計算負載和響應時間。然而，在動態對話背景中使用人類語言時，完全匹配的查詢很少，這就是語義緩存發揮作用的地方。

語義緩存可以理解并利用查詢的潛在語義。語義緩存識別并檢索與輸入查詢在語義上足夠相似的緩存響應。這種能力極大地增加了緩存命中率，進一步改善了響應時間和資源利用率。

例如，在客戶服務場景中，多個用戶可能會使用不同的措辭詢問類似的常見問題。語義緩存使得LLM 能夠在不進行冗余計算的情況下迅速而準確地回應這些問題。LLM緩存機制

Redis 非常適用于在 LLM 中實現緩存，其強大的功能集包括支持生存時間（TTL）和逐出策略，用于管理臨時數據。結合其向量數據庫的語義搜索能力，Redis 能夠高效快速地檢索緩存響應，從而顯著提升 LLM 的響應速度和系統整體性能，即使在負載較重的情況下也能如此。

4.利用Redis實現內存和持久化

保留過去的互動和會話元數據對于確保上下文連貫和個性化對話至關重要，然而LLM 并沒有自適應記憶，因此依賴一個可靠的系統進行快速的對話數據存儲變得至關重要。

Redis 提供了一個強大的解決方案，用于管理 LLM 的記憶。它可以在大量需求下高效地訪問聊天歷史和會話元數據。Redis使用其數據結構存儲來處理傳統的內存管理，同時其向量數據庫功能有助于提取語義相關的互動內容。

三、LLM 的應用場景

1.文檔檢索

一些企業需要處理大量的文檔，而LLM 應用可以成為文檔發現和檢索的強大工具，語義搜索有助于從廣泛的知識語料庫中精確定位相關信息。

2.虛擬購物助手

LLM 可以支持復雜的電子商務虛擬購物助手，通過上下文理解和語義搜索，它可以理解客戶的問題，提供個性化的產品推薦，甚至實時模擬對話互動。

3.客戶服務助理

將LLM 部署為客戶服務代理可以徹底改變客戶互動方式，除了回答常見問題外，系統還可以進行復雜的對話，為客戶提供定制化的幫助，并從過去的客戶互動中進行學習。

四．Redis 和 Google Cloud：強強聯合

1.基于知識

GCP 和 Redis 讓 LLM 應用不僅僅是先進的文本生成器，通過在運行時迅速注入來自您自己領域的特定知識，它們確保您的應用可以提供基于知識、準確和有價值的交互，特別適應于您的組織知識庫。

2.簡化架構

Redis 不僅僅是一個鍵值數據庫，它是實時數據的多功能工具，通過消除為不同用例管理多個服務的需求，它極大地簡化了您的體系架構。作為許多組織已經信任的緩存和其他需求的工具，Redis 在 LLM 應用中的集成起到了無縫擴展的效果。

3.優化性能

Redis 是低延遲和高吞吐量數據結構的代名詞。當與具有超強計算能力的GCP結合時 ，您將擁有一個不僅智能而且響應迅速的 LLM 應用，即使在負載較重的情況下也能如此。

4.企業級能力

Redis是經過時間驗證的開源數據庫核心，可為全球財富100強公司提供可靠服務。在Redis Enterprise提供的五個九（99.999％）可用性的支持下，并由 GCP 強大的基礎架構提供支持，您可以完全信任其可以完全滿足企業需求。

5.加速上市進程

利用Redis Enterprise，您可以更專注于創建 LLM 應用，而不必費心進行數據庫設置。這種集成的便利性加速了上市進程，為您的組織提供了競爭優勢。

盡管新的向量數據庫和生成式AI 產品可能在市場上引起了很大的關注，但是 GCP 和 Redis 的可靠組合更加值得信任。這些經過時間驗證的解決方案不會很快消失，它們已經準備好為您的 LLM 應用提供動力，無論是今天還是未來的數年。

虹科是Redis原廠的中國區戰略合作伙伴。我們持續關注各行業當下急切需求，專注于為企業解答疑問，制定專屬服務，提供一站式數據庫和商業智能解決方案。了解更多【企業級數據庫解決方案】及【企業緩存指南】，歡迎前往虹科云科技官網！

虹科云科技 ，主要分享企業級云解決方案，包括云計算、數據庫、商業智能、數據可視化、高性能計算、數據管理、人工智能等相關知識、產品信息、應用案例及行業信息，如Redis Enterprise、Weka、Domo、Visokio、Nimibix等，為學習者傳輸前沿知識、為技術工程師解答專業問題、為企業找到最適合的云解決方案！

審核編輯 黃宇