案例簡介

麗蟾科技通過 Leaper 資源管理平臺集成 NVIDIA AI Enterprise，為企業和科研機構提供了一套高效、靈活的 AI 訓練與推理加速解決方案。無論是在復雜的 AI 開發任務中，還是在高并發推理場景下，都能夠確保項目的順利進行，并顯著提升業務效率與創新能力。

企業級 AI 軟件套件

——NVIDIA AI Enterprise

NVIDIA AI Enterprise是 NVIDIA 推出的一套完整的企業級 AI 軟件套件，專為簡化和加速 AI 開發與部署設計，幫助用戶在多云環境、數據中心和邊緣設備上高效運行人工智能工作負載。

圖 1. NVIDIA AI Enterprise 端到端云原生軟件平臺

它提供了廣泛的工具集與預訓練模型，涵蓋數據準備、模型訓練、推理優化等各個環節，利用 NVIDIA 的 GPU 硬件加速器，為廣泛的 AI 應用提供強大支持，從而加快企業和科研機構在 AI 領域的創新進程。作為一個全面的 AI 開發平臺，集成了 NVIDIA 的多種技術，包括CUDA并行計算架構、cuDNN深度學習庫、TensorRT推理加速引擎，以及NVIDIA Triton 推理服務器等。此外，NVIDIA AI Enterprise 為用戶提供了豐富的預訓練模型和工具集，支持主流的 AI 框架如 TensorFlow、PyTorch、MXNet 等，確保開發者可以利用熟悉的工具和框架高效工作。

麗蟾云 Leaper 集成 NVIDIA 軟件堆棧

及計算參考架構，提供智算云解決方案

Leaper 是麗蟾科技自主研發的資源調度管理平臺，可對 GPU 計算資源進行統一管理和調度，提供高性能的算力支撐，充分提高資源的利用率，且可為用戶提供高效、靈活的 AI 應用研發與部署環境，用戶可以輕松地創建和管理容器化的應用程序。

圖 2.Leaper 主要功能模塊

(本圖來源于麗蟾科技，若您需要使用本圖片或有任何疑問，請聯系麗蟾科技)

麗蟾科技在智算云管理平臺 Leaper 上深度集成了 NVIDIA AI Enterprise，為用戶提供從數據準備、模型訓練到推理部署的全面加速支持，并提供高效的 AI 訓練與推理解決方案，通過與 NVIDIA AI Enterprise 的結合，用戶可以享受無縫銜接的資源調度與 AI 加速服務。

圖 3.Leaper 整體解決方案架構

(本圖來源于麗蟾科技，若您需要使用本圖片或有任何疑問，請聯系麗蟾科技)

分布式訓練支持與資源調度

Leaper 支持在大規模 GPU 集群環境下進行分布式訓練，結合 NVIDIA AI Enterprise 及NVIDIA NCCL優化通信庫，確保了大規模分布式訓練的計算與通信效率，動態調度資源確保訓練任務順利進行。

自動混合精度訓練，

FP8 訓練與推理優化

NVIDIA AI Enterprise 提供自動混合精度訓練（AMP）功能，結合 Leaper 平臺可以有效提高計算效率，在保持模型的精度的情況下加速 AI 訓練過程，結合 NVIDIA Hopper 架構的 FP8 精度的計算能力，特別在推理方向，提供更高的推理性能，更低的延時響應，更高效的顯存容量及帶寬的使用效率，最終幫助大模型的推理性價比進一步提升和優化。

預訓練模型、AI 算法框架與加速庫

NVIDIA AI Enterprise 提供了豐富的預訓練模型、AI 算法框架與加速庫（如 TensorRT、cuDNN 和 PyTorch），Leaper 集成 NVIDIA AI Enterprise 能夠充分發揮這些工具的性能，使用戶能夠直接在 Leaper 上快速部署這些模型，加速推理，更快完成訓練任務。

實時監控與動態調度

通過 Leaper，用戶可以實時監控訓練進展，并根據需求動態調整資源調度，無論是訓練中的資源分配，還是推理中的計算負載，都能確保高效利用 GPU 集群，避免資源浪費。

數據預處理加速

NVIDIA AI Enterprise 與RAPIDS框架的結合，在 GPU 上加速了數據預處理和特征工程環節。通過 Leaper，用戶可以高效完成數據準備，縮短訓練前期的時間成本。

為開發者打造快速、安全、

高性能的 AI 推理微服務

NVIDIA NIM是 NVIDIA AI Enterprise 的一部分，是一套易于使用的預構建容器工具，目的是幫助企業加速生成式 AI 的部署。它支持各種 AI 模型，可確保利用行業標準 API 在本地或云端進行無縫、可擴展的 AI 推理。Leaper 已經全面整合 NVIDIA NIM，覆蓋了包括語音 AI、數據檢索（RAG）、數字生物學、數字人、大語言模型（LLM）等領域。在 Leaper上，作為優化容器提供，旨在加速各種規模的企業的 AI 應用開發，為 AI 技術的快速生產和部署鋪平道路。

通過 Leaper 內的 NVIDIA NIM，AI 開發者可以：

快速部署 AI 模型：NVIDIA NIM 允許組織利用預訓練的 AI 模型，這些模型已經過優化，可以快速部署，減少了開發和訓練新模型所需的時間和成本，在幾分鐘內跨各種環境部署 AI 應用程序，顯著提高了生產力。

簡化 AI 應用創建：通過 Leaper，集成了眾多跨領域的專用微服務，包括 NVIDIA NIM 及定制化的 AI 模型，極大地簡化了創建復雜 AI 應用的過程。無需從頭開始構建 AI 模型，從而節省了寶貴的時間和資源。

跨領域集成：可以跨多個領域集成，例如，結合語音識別和大語言模型，創建能夠提供個性化客戶服務的數字人。

加速業務轉型：使用 NVIDIA NIM，團隊可以專注于將預訓練的 AI 模型快速集成到現有的工作流程中，加速業務運營的數字化轉型。

總體而言，Leaper 提供了經過優化，可以快速部署的預訓練 AI 模型，也為 AI 從業者提供了一種快速、靈活且高效的方式來開發和部署 AI 應用，使他們能夠更快地響應市場變化和客戶需求，從而推動業務創新和增長。

為企業與科研機構

提供定制化的專業解決方案

麗蟾科技通過整合 Leaper 與 NVIDIA AI Enterprise，為多個行業提供了強大的 AI 開發與推理加速支持。以下是幾個典型的應用場景：

科學研究

在處理大規模數據集的科學研究領域，如天體物理、化學模生物信息學等，Leaper 與 NVIDIA AI Enterprise 的高性能計算資源為科研人員提供了強大的支持，比如，Leaper 結合 RAPIDS 開源軟件庫，提供了 GPU 加速的數據科學工作流，更快地處理大規模數據集，進行科學探索與創新。

醫療領域

在醫療圖像分析中，Leaper 與 NVIDIA AI Enterprise 的集成可以為醫療機構提供高效的 AI 模型訓練與推理支持。醫療科研人員可以在 Leaper 平臺上快速訓練和部署 AI 模型，從而提高疾病診斷的準確性與效率，優化治療效果。

能源行業

能源行業中的天氣預測需要高效的計算資源。借助 Leaper 和 NVIDIA AI Enterprise 的結合，能源企業可以利用 GPU 加速天氣預測模型的訓練與推理，快速部署 AI 模型進行精準天氣預測，優化能源分配與生產。

制造業

制造企業可以通過 Leaper 平臺快速部署基于 NVIDIA AI Enterprise 的智能檢測系統。NVIDIA AI Enterprise 的預訓練模型和推理加速庫幫助企業快速開發高效的質量檢測模型，實現對產品質量的實時監控和分析，從而提高生產線的效率。

零售與電子商務

在零售行業，AI 技術已經廣泛應用于推薦系統、客戶行為分析等方面。通過 Leaper 平臺，零售企業可以快速構建并部署基于 AI 的推薦引擎，從而為客戶提供個性化的購物體驗。NVIDIA AI Enterprise 提供的 AI 加速庫和預訓練模型能夠幫助企業優化其推薦算法，提高客戶轉化率。

Leaper 實現 AI 訓練與推理加速

上海麗蟾科技有限公司董事長吳敏華表示：“NVIDIA AI Enterprise 是一套端到端的完整的 AI 工具套件，在服務客戶的過程中，我們發現該套件非常適合運行在云的環境中，通過麗蟾自研的 Leaper 云平臺，將 NVIDIA 最先進的 AI 能力集成并傳遞給每一位客戶?！?/p>

隨著 AI 技術的不斷發展，麗蟾科技將繼續通過這一集成平臺推動更多行業的技術進步與應用落地。