吴忠躺衫网络科技有限公司

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

浪潮信息發布“源”Yuan-EB助力RAG檢索精度新高

浪潮AIHPC ? 來源:浪潮AIHPC ? 2024-11-26 13:54 ? 次閱讀

近日,浪潮信息發布 “源”Yuan-EB(Yuan-embedding-1.0,嵌入模型),在C-MTEB榜單中斬獲檢索任務第一名,以78.41的平均精度刷新大模型RAG檢索最高成績,將基于元腦企智EPAI為構建企業知識庫提供更高效、精準的知識向量化能力支撐,助力用戶使用領先的RAG技術加速企業知識資產的價值釋放。

2a0c093e-a659-11ef-93f3-92fbcf53809c.png

“源”Yuan-EB 在HuggingFace的C-MTEB榜單中排名第一

Yuan-EB(版本號Yuan-embedding-1.0) 是專為增強中文文本檢索能力而設計的嵌入模型(也稱Embedding模型),在 “源2.0” 大模型的工作基礎上,創新性地采用了“源2.0-M32”大模型進行數據重寫與合成,并通過索引技術、樣本排序等系列方法完成高質量微調數據集構建,能夠有效提升RAG系統的檢索精度。

C-MTEB是目前業內最權威的嵌入模型測試榜單。其中,檢索任務(Retrieval)是檢索增強生成(RAG)場景下最為重要、應用最廣泛的任務能力,考察的是Embedding模型從大量的數據集中找到并返回與給定查詢最相關或最匹配的信息的過程。“源”Yuan-EB基于該任務提供的醫療、新聞、電商、娛樂等8個中文文本數據集,實現了業界領先的海量文本檢索精度。

2a18dba0-a659-11ef-93f3-92fbcf53809c.png

C-MTEB榜單Retrieval任務提供8個測試數據集

“源” Yuan-EB 助力RAG檢索精度新高

嵌入模型在RAG流程中扮演著關鍵角色,它能夠將復雜的高維數據(例如文本、圖像或音頻)轉換為機器可理解的向量形式,直接決定了RAG檢索的精準性和效率。

2a3da4ee-a659-11ef-93f3-92fbcf53809c.png

“源”Yuan-EB通過數據準備與模型微調兩個方面的技術創新,實現了模型精度的大幅提升:

■ 在數據方面,基于“源2.0”微調階段的問答數據進行清洗與篩選,構建問題(query)與文本(corpus)數據集;使用“源2.0-M32”對C-MTEB 訓練數據進行重寫與合成,通過索引技術與排序模型進行高效的難負樣本提取,完成大規模難負例樣本挖掘,形成高質量微調數據集;

■ 在微調方面,通過兩個階段的領先微調方法實現模型能力提升。第一階段,使用各個領域(醫療、新聞、長文本、娛樂等方向)的大規模數據進行對比學習訓練;第二階段,采用“源2.0-M32”生成的合成數據進一步微調,并使用MRL方法完成“源”Yuan-EB訓練;

“源”Yuan-EB為用戶提供了大模型企業知識庫應用開發的最優模型選擇,能夠在 RAG流程的多個方面起到顯著的精度提升,包括信息檢索的準確性、處理大規模數據的效率、消除語義歧義、降低計算成本、增強對長文檔的處理能力以及模型魯棒性等,最大化提升RAG流程的整體性能和應用效果。

元腦企智EPAI集成“源”Yuan-EB,加速知識庫構建與性能提升

目前,“源”Yuan-EB已經在開源社區和企業大模型開發平臺元腦企智EPAI中全面開放下載。用戶可以在元腦企智EPAI平臺中快速使用“源”Yuan-EB,并結合EPAI自研的多階段RAG技術,零代碼、低成本地基于企業數據構建大模型知識庫應用。

企業大模型開發平臺“元腦企智”EPAI(Enterprise Platform of AI),是浪潮信息為企業AI大模型落地應用打造的高效、易用、安全的端到端開發平臺,提供數據準備、模型訓練、知識檢索、應用框架等系列工具,支持調度多元算力和多模算法,幫助企業高效開發部署生成式AI應用、打造智能生產力。

元腦企智EPAI已經支持超過13種類型文檔的信息識別與提取,結合創新的多級混合檢索策略,有效提升元腦企智EPAI在管理、解析、檢索知識庫與生成內容方面的最終效果,幫助企業用戶實現基于私有數據、行業數據下的精準檢索、精準問答,確保專業場景下大模型生成內容的準確性和可靠性,加速大模型創新力釋放。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 浪潮
    +關注

    關注

    1

    文章

    468

    瀏覽量

    23945
  • 開源
    +關注

    關注

    3

    文章

    3402

    瀏覽量

    42711
  • 大模型
    +關注

    關注

    2

    文章

    2545

    瀏覽量

    3165

原文標題:浪潮信息發布“源”Yuan-EB,刷新大模型RAG檢索精度紀錄!

文章出處:【微信號:浪潮AIHPC,微信公眾號:浪潮AIHPC】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    【「基于大模型的RAG應用開發與優化」閱讀體驗】+Embedding技術解讀

    理和理解這些數據。在自然語言處理中,Embedding常用于將文本數據中的單詞、句子或文檔映射為固定長度的實數向量,這些向量包含了豐富的語義信息。RAG技術是一種結合信息檢索與文本生成
    發表于 01-17 19:53

    浪潮信息與智研究院攜手共建大模型多元算力生態

    近日,浪潮信息與北京智人工智能研究院正式簽署戰略合作協議,雙方將緊密合作,共同構建大模型多元算力開源創新生態。 此次合作旨在提升大模型創新研發的算力效率,降低大模型應用開發的算力門檻,推動
    的頭像 發表于 12-31 11:49 ?295次閱讀

    浪潮信息與智研究院達成戰略合作協議

    近日,浪潮信息與智研究院達成戰略合作協議,雙方將緊密協作共建大模型多元算力開源創新生態,提升大模型創新研發的算力效率,降低大模型應用開發的算力門檻。目前,智Triton算子庫FlagGems已
    的頭像 發表于 12-26 10:25 ?223次閱讀

    浪潮信息發布""Yuan-EB,刷新RAG檢索最高成績

    檢索任務的第一名,以78.41的平均精度刷新了大模型RAG檢索的最高成績。 ""Yuan-EB
    的頭像 發表于 12-25 15:54 ?201次閱讀

    借助浪潮信息元腦企智EPAI高效創建大模型RAG

    生成能力,提高生成質量和可靠性。但企業構建知識檢索系統并非易事,通常面臨開發門檻高、生成內容差等難題。而借助浪潮信息元腦企智EPAI企業大模型開發平臺,企業僅需三步即可高效創建大模型RAG,讓企業內部積累的大量數據得到有效利用,
    的頭像 發表于 12-19 14:32 ?279次閱讀
    借助<b class='flag-5'>浪潮信息</b>元腦企智EPAI高效創建大模型<b class='flag-5'>RAG</b>

    浪潮信息源2.0大模型與百度PaddleNLP全面適配

    近日,浪潮信息宣布其開源大模型2.0已全面適配百度PaddleNLP。這一舉措標志著大模型開發生態正加速進化,為用戶提供了更加便捷、高效的大模型應用體驗。
    的頭像 發表于 10-17 18:15 ?574次閱讀

    浪潮信息:元腦企智EPAI助力金融大模型快速落地

    浪潮信息在AI算力底座建設、大模型開發領域積累的成熟、成功經驗工具化,助力金融機構又快、又穩地部署生成式AI應用,助力金融數智化跨越式發展。
    的頭像 發表于 09-20 16:07 ?419次閱讀
    <b class='flag-5'>浪潮信息</b>:元腦企智EPAI<b class='flag-5'>助力</b>金融大模型快速落地

    浪潮信息推出AIGC存儲解決方案

    近日,在科技創新的浪潮中,浪潮信息成功舉辦了“元腦中國行”全國巡展的杭州站活動,此次盛會不僅匯聚了業界的精英與目光,更見證了浪潮信息在AIGC(人工智能生成內容)領域的一次重大突破。會上,浪潮
    的頭像 發表于 07-03 11:16 ?800次閱讀

    浪潮信息重磅發布2.0-M32”開源大模型

    浪潮信息近日發布了一款全新的開源大模型——“2.0-M32”。這款大模型在“2.0”系列大模型的基礎上,進行了深度的技術創新與升級。
    的頭像 發表于 06-05 14:50 ?840次閱讀

    浪潮信息與北京伙伴共筑AI新生態

    近日,2024浪潮信息區域ISP伙伴戰略簽約儀式在京圓滿落幕。此次盛會,浪潮信息與航天星橋、中天瑞合、圣世博泰、浩然泰同、浩普誠華、眾創佳業等20家北京元腦生態伙伴共襄盛舉,簽署了戰略合作協議。
    的頭像 發表于 05-31 11:33 ?818次閱讀

    浪潮信息發布2.0-M32開源大模型,模算效率大幅提升

    5月28日,浪潮信息發布2.0-M32”開源大模型。“2.0-M32”在基于”2.0”系列大模型已有工作基礎上,創新性地提出和采用了
    的頭像 發表于 05-29 09:34 ?495次閱讀
    <b class='flag-5'>浪潮信息</b><b class='flag-5'>發布</b><b class='flag-5'>源</b>2.0-M32開源大模型,模算效率大幅提升

    浪潮信息發布2.0-M32”開源大模型

    浪潮信息近日推出了革命性的“2.0-M32”開源大模型。該模型在2.0系列基礎上,引入了“基于注意力機制的門控網絡”技術,構建了一個包含32個專家的混合專家模型(MoE),有效提升了模型算力效率。
    的頭像 發表于 05-29 09:08 ?722次閱讀

    【中心動態】 走進浪潮信息

    5月8日,RISC-V國際人才培養認證中心主任蔣學剛一行,到訪浪潮電子信息產業股份有限公司(以下簡稱“浪潮信息”),受到深圳區域副總經理段青云、產品經理陶耀民的熱情接待。浪潮信息是全球
    的頭像 發表于 05-13 17:42 ?525次閱讀
    【中心動態】 走進<b class='flag-5'>浪潮信息</b>

    浪潮信息發布企業大模型開發平臺“元腦企智”EPAI

    4月17日,在2024浪潮信息生態伙伴大會(IPF2024)上,浪潮信息重磅發布企業大模型開發平臺“元腦企智”EPAI(Enterprise Platform of AI),為企業AI大模型落地
    的頭像 發表于 04-18 10:12 ?431次閱讀
    <b class='flag-5'>浪潮信息</b><b class='flag-5'>發布</b>企業大模型開發平臺“元腦企智”EPAI

    浪潮信息與英特爾合作推出一種大模型效率工具“YuanChat”

    3月26日,浪潮信息與英特爾正式宣布,浪潮信息2.0系列基礎大模型”已和最新的英特爾? 酷睿? Ultra處理器平臺完成適配,本地推理速度提升100%。
    的頭像 發表于 03-27 13:50 ?698次閱讀
    <b class='flag-5'>浪潮信息</b>與英特爾合作推出一種大模型效率工具“YuanChat”
    百家乐官网返点| 大发888支付宝代充| 南京百家乐官网的玩法技巧和规则 | 株洲县| 百家乐官网单双打法| 百家乐法则| 真人百家乐轮盘| 百家乐三路法| 百家乐预约| 免费百家乐倍投软件| 大发888pt| 鑫鼎国际| 百家乐官网现金网平台| 鸿博娱乐城| 百家乐官网3号眨眼技术| 上海百家乐官网赌博| 百家乐官网凯时赌场娱乐网规则| 黄金城百家乐官网苹果版| 百家乐注册下注平台| 澳门百家乐上下限| 百家乐赌博筹码大不大| 大发888真人网站| 365外围网| 连平县| 百家乐官网牌具公司| 百家乐游戏高手| 老牌百家乐娱乐城| 试玩百家乐帐| 优博在线娱乐| 百家乐官网追注法| 新彩百家乐官网的玩法技巧和规则| 百家乐娱乐用品| 游戏机百家乐的技巧| 大发888下载失败| 鸡西市| 百家乐官网高档筹码| 百家乐官网赌坊| 澳门百家乐官网游戏官网| 总统百家乐的玩法技巧和规则| 新花园百家乐的玩法技巧和规则| 博狗备用网址|