大模型時代，安全問題不容小覷。但如果把大模型比作孫悟空，那 NVIDIA NeMo Guardrails 就是“安全護欄”，可以輕松的為基于 LLM 的對話系統添加可編程護欄，來避免大語言模型輸出違法違規內容，并通過自定義方式響應用戶特定請求，按照預定義的對話路徑進行操作，以及使用特定的語言風格進行回答。

那如何在 Azure 中搭建 NeMo Guardrails 環境，將 NeMo Guardrails 與 Azure OpenAI 結合使用，構建更加安全可靠的 LLM 對話引擎？本期【比特熊充電棧】NVIDIA 企業級開發者社區經理李奕澎，將為大家解讀 NeMo Guardrails 中的 Colang 語言，以及進行將 NeMo Guardrails 與 Azure OpenAI 結合使用的代碼實戰，見證安全 LLM 對話引擎的構建。

李奕澎

NVIDIA 企業級開發者社區經理

NLP，Conversational-AI，LLM

Colang 語言

定義 LLM 對話引擎

NeMo Guardrails 中的 Colang 語言，是一種用于對話式人工智能的建模語言，能夠定義護欄。它的目標是為用戶提供一個可讀可擴展的，使用自然語言定義或控制對話機器人的行為的語言。

Colang 語言已經作為 NeMo Guardrails 的內核來使用。Colang 語言像電影的編劇，用戶和機器人是演員，通過 Colang 語言，可以定義用戶的信息、機器人信息和 Flow，把機器話語和用戶話語進行對話邏輯上的連接。

Colang 語言中常用的關鍵詞包括 bot, break, continue, create, define 等，能夠幫助開發快速上手使用，降低對話式 AI 領域的學習門檻。

NeMo Guardrails 與 Azure OpenAl 的結合使用

搭建 LLM 對話引擎

在上一期【比特熊充電棧】中，已經詳細解讀了在 Azure 中搭建 NeMo Guardrails 環境的步驟，包括申請 Azure 賬號，開通 Azure Machine Learning 服務，安裝 OpenAI、NeMo Guardrails，開通 Azure OpenAI 服務等。搭建完成后，才能將 NeMo Guardrails 與 Azure OpenAl 結合使用。

NeMo Guardrails 與 AzureOpenAl 結合使用，構建更加安全可靠的LLM對話引擎，還需要通過以下步驟進行操作：

?導入 NeMo Guardrails 大模型護欄及 RailsConfig 護欄配置文件工具類；

?從 langchain 中導入 Azure Chat OpenAI 工具類；

?傳入 Azure OpenAI 的 API-KEY、endpoint、deployment_name、對應的版本信息等關鍵參數，就可以實例化一個大模型；

?調用 NeMo Guardrails 大模型中的 from_content 變量，讀取 Colang_Config2 文件和 Yaml_Config 配置文件，就可以實例一個安全的聊天機器人 App；

?調用 App 中的 generate_async 函數，輸入用戶的問題語句，機器人就會給出對應的回答。

NeMo Guardrails

自定義 LLM 對話引擎應用

NeMo Guardrails 除了支持 Azure OpenAI 外，還支持很多對話引擎大模型，包括 AI21labs、Cohere、Hugging Face、GPT4All 等。調用對話引擎大模型，首先要自定義一個大語言模型的 class：從 langchain 中導入 BaseLanguageModel，從 NeMo Guardrails 中導入 register_llm_provider，自定義大語言模型的 class 并注冊。

以 Hugging Face 為例，調用對話引擎大模型的步驟如下：

?創建并初始化一個構造函數，調用父類的構造函數來初始化這個類的實例；

?然后指定大模型的 ID，調用 HuggingFacePipeline class 中的 from_model_id 函數，輸入對應大模型 id，定義 device、task 和模型參數；

?然后定義返回、自定義函數，以字符串的形式返回大語言模型的類型，在 langchain 中分別同步調用和異步調用自定義 LLM。