吴忠躺衫网络科技有限公司

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

LinkedIn圖數據庫 LIquid:為9.3億會員提供實時數據訪問

jf_WZTOguxH ? 來源:AI前線 ? 2023-07-13 14:22 ? 次閱讀

最近,LinkedIn 分享了其圖數據庫 LIquid 是如何自動索引和實時訪問會員、學校、技能、公司、職位、工作、事件等之間的關系數據的。這個知識圖譜被稱為 LinkedIn 的“Economic Graph”,有 2700 億條邊,并且還在不斷增長,目前每秒處理 200 萬次查詢。

LinkedIn 將其“你可能認識的人(People You May Know,PYMK)”推薦系統從傳統的 GAIA 系統遷移到了 LIquid。這一變化顯著改善了每秒查詢數(QPS)、延遲和 CPU 利用率。QPS 從 120 增加到 18000,延遲從超過 15 秒下降到平均 50 毫秒以下,CPU 利用率下降了 3 倍以上。LIquid 還引入了新的數據庫索引技術,支持實時數據查詢,實現了即時推薦。

3dad1186-213f-11ee-962d-dac502259ad0.jpg

圖片來源:https://engineering.linkedin.com/blog/2023/how-liquid-connects-everything-so-our-members-can-do-anything

上圖是系統的架構圖,使用了 LIquid,可以以較小的延遲和可接受的硬件成本來執行圖查詢。通過 LIquid 對 Economic Graph 的查詢生成數百個候選對象,并應用第二個排名函數。這個排名函數使用 Venice 的機器學習功能和 Apache Pinot 的分析見解來評分并選擇最佳候選對象。過濾步驟為呈現和最終評分準備好了這個排名列表。

LIquid 的設計使其能夠伸縮到當前十倍的規模,可以支持 LinkedIn 9.3 億多會員的有機增長和新的語義領域。它提供 99.99% 的可用性,并可以自動根據圖的大小和活動量的增加進行自動伸縮。

圖數據庫使用基于 Datalog 的可組合聲明式查詢語言,幫助開發人員高效地訪問和使用數據。可組合語言能夠讓開發人員在現有的特性(叫作模塊)上進行構建,聲明式語言能夠讓開發人員專注于表達他們想要開發的東西,而 LIquid 自動化了高效的訪問過程。開發人員因此可以快速變更數據集,大大減少了調整和更新數據庫所需的時間。

LinkedIn 工程總監 Bogdan Artintescu 描述了 LIquid 的發展路線圖:

要讓會員能夠做更多的事情,我們需要在回答會員的問題方面提供更加完善的能力。我們可以沿著兩個方向做出改進。首先,復雜的查詢和添加到 Economic Graph 的數據源的多樣性將會驅動新特性的開發和呈現。其次,豐富數據將提高推理能力。這可以通過創建派生數據(通過確定性算法或概率機器學習方法)或通過知識圖譜(KG)模式中更豐富的語義改進推理來實現。我們計劃專注于高性能圖形計算和分析,并建立一個 KG 生態系統,讓我們的開發人員能夠進一步增強會員體驗。

LIquid 的成功激勵了 LinkedIn 的其他團隊和微軟的姐妹團隊將它作為圖數據索引。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 數據庫
    +關注

    關注

    7

    文章

    3848

    瀏覽量

    64691
  • 機器學習
    +關注

    關注

    66

    文章

    8441

    瀏覽量

    133094
  • 數據集
    +關注

    關注

    4

    文章

    1209

    瀏覽量

    24836

原文標題:LinkedIn 圖數據庫 LIquid:為 9.3 億會員提供實時數據訪問

文章出處:【微信號:AI前線,微信公眾號:AI前線】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    Devart: dbForge Compare Bundle for SQL Server—比較SQL數據庫最簡單、最準確的方法

    主要版本控制系統的實時數據庫、快照、腳本文件夾、備份和存儲。 為什么選擇Data Compare For SQL Server? 自
    的頭像 發表于 01-17 11:35 ?138次閱讀

    MySQL數據庫的安裝

    MySQL數據庫的安裝 【一】各種數據庫的端口 MySQL :3306 Redis :6379 MongoDB :27017 Django :8000 flask :5000 【二】MySQL 介紹
    的頭像 發表于 01-14 11:25 ?133次閱讀
    MySQL<b class='flag-5'>數據庫</b>的安裝

    數據庫是哪種數據庫類型?

    數據庫是一種部署在虛擬計算環境中的數據庫,它融合了云計算的彈性和可擴展性,用戶提供高效、靈活的數據庫服務。云
    的頭像 發表于 01-07 10:22 ?143次閱讀

    數據庫加密辦法

    企業對于數據的重視程度不言而喻,也衍生出了數據=資產的概念。但是數據泄漏的事件頻繁發生,為了保護數據資產,企業有必要對數據庫做一些針對性的措
    的頭像 發表于 12-24 09:47 ?155次閱讀

    數據庫數據恢復—Mysql數據庫表記錄丟失的數據恢復流程

    Mysql數據庫故障: Mysql數據庫表記錄丟失。 Mysql數據庫故障表現: 1、Mysql數據庫表中無任何數據或只有部分
    的頭像 發表于 12-16 11:05 ?224次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復—Mysql<b class='flag-5'>數據庫</b>表記錄丟失的<b class='flag-5'>數據</b>恢復流程

    數據庫數據恢復—MYSQL數據庫ibdata1文件損壞的數據恢復案例

    mysql數據庫故障: mysql數據庫文件ibdata1、MYI、MYD損壞。 故障表現:1、數據庫無法進行查詢等操作;2、使用mysqlcheck和myisamchk無法修復數據庫
    的頭像 發表于 12-09 11:05 ?224次閱讀

    數據庫數據恢復—通過拼接數據庫碎片恢復SQLserver數據庫

    一個運行在存儲上的SQLServer數據庫,有1000多個文件,大小幾十TB。數據庫每10天生成一個NDF文件,每個NDF幾百GB大小。數據庫包含兩個LDF文件。 存儲損壞,數據庫
    的頭像 發表于 10-31 13:21 ?337次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復—通過拼接<b class='flag-5'>數據庫</b>碎片恢復SQLserver<b class='flag-5'>數據庫</b>

    實時數據與數字孿生的關系

    、處理和分析的數據。這種數據的特點是高頻率、高速度和高準確性。在工業環境中,實時數據可以來自于各種傳感器、設備、機器和系統,它們企業提供
    的頭像 發表于 10-25 14:42 ?484次閱讀

    Oracle數據恢復—異常斷電后Oracle數據庫報錯的數據恢復案例

    Oracle數據庫故障: 機房異常斷電后,Oracle數據庫報錯:“system01.dbf需要更多的恢復來保持一致性,數據庫無法打開”。數據
    的頭像 發表于 09-30 13:31 ?387次閱讀
    Oracle<b class='flag-5'>數據</b>恢復—異常斷電后Oracle<b class='flag-5'>數據庫</b>啟<b class='flag-5'>庫</b>報錯的<b class='flag-5'>數據</b>恢復案例

    數據庫數據恢復—Oracle數據庫文件system01.dbf損壞的數據恢復案例

    打開oracle數據庫報錯“system01.dbf需要更多的恢復來保持一致性,數據庫無法打開”。
    的頭像 發表于 09-21 14:25 ?524次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復—Oracle<b class='flag-5'>數據庫</b>文件system01.dbf損壞的<b class='flag-5'>數據</b>恢復案例

    數據庫數據恢復—SQL Server數據庫出現823錯誤的數據恢復案例

    SQL Server數據庫故障: SQL Server附加數據庫出現錯誤823,附加數據庫失敗。數據庫沒有備份,無法通過備份恢復數據庫
    的頭像 發表于 09-20 11:46 ?410次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復—SQL Server<b class='flag-5'>數據庫</b>出現823錯誤的<b class='flag-5'>數據</b>恢復案例

    數據庫數據恢復—SqlServer數據庫底層File Record被截斷0的數據恢復案例

    SQL Server數據庫數據無法被讀取。 經過數據庫數據恢復工程師的初步檢測,發現SQL Server數據庫文件無法被讀取的原因是底層
    的頭像 發表于 07-26 11:27 ?449次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復—SqlServer<b class='flag-5'>數據庫</b>底層File Record被截斷<b class='flag-5'>為</b>0的<b class='flag-5'>數據</b>恢復案例

    數據庫數據恢復—SQL Server數據庫所在分區空間不足報錯的數據恢復案例

    SQL Server數據庫數據恢復環境: 某品牌服務器存儲中有兩組raid5磁盤陣列。操作系統層面跑著SQL Server數據庫,SQL Server數據庫存放在D盤分區中。
    的頭像 發表于 07-10 13:54 ?579次閱讀

    數據庫數據恢復—raid5陣列上層Sql Server數據庫數據恢復案例

    數據庫數據恢復環境: 5塊硬盤組建一組RAID5陣列,劃分LUN供windows系統服務器使用。windows系統服務器內運行了Sql Server數據庫,存儲空間在操作系統層面劃分了三個邏輯分區
    的頭像 發表于 05-08 11:43 ?580次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復—raid5陣列上層Sql Server<b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復案例

    態勢數據如何存儲在數據庫里面呢

    、穩定的數據,強調維護數據的完整性、一致性 , 其性能目標是高系統吞吐量和低代價 , 但對處理的定時限制沒有嚴格要求。而實時數據庫系統需要結合實時數據處理技術和
    的頭像 發表于 04-22 16:46 ?414次閱讀
    百家乐官网投注组合| 百家乐是怎样的| 全讯网财运| 百家乐官网视频聊天游戏| 百家乐桌布| 体育| 现金百家乐技巧| 北海市| 百家乐3号眨眼技术| 真人娱乐城| 百家乐澳门路规则| 禹城市| 百家乐现金网信誉排名| 玩百家乐官网如何看路| 百家乐衬衣| 百家乐官网公式球打法| 百家乐正负计算| 百家乐官网挂机软件| 大发888bet亚洲lm0| 牌九百家乐官网的玩法技巧和规则| 大发888账号申请| 百家乐官网定位胆技巧| 利来国际网址| 百家乐庄闲客户端| 百家乐官网微笑心法搜索| 威尼斯人娱乐城上不了| 赌片百家乐官网的玩法技巧和规则 | 百家乐官网规则博彩正网| 网络百家乐破| 百家乐官网设备电子路| bet365网址主页| 百家乐游戏机博彩正网| 百家乐官网在线小游戏| 百家乐缩水| 月华百家乐官网的玩法技巧和规则| 足球开户网| 百家乐官网心态研究| 百家乐追号软件| 星期8百家乐官网的玩法技巧和规则 | 博客国际| 手机百家乐的玩法技巧和规则 |