吴忠躺衫网络科技有限公司

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

DBSyncer支持多種數據源和預警功能

jf_ro2CN3Fa ? 來源:芋道源碼 ? 2023-05-18 16:37 ? 次閱讀

設計

應用場景

使用教程

預覽

DBSyncer是一款開源的數據同步中間件,提供MySQL、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步場景。

支持上傳插件自定義同步轉換業務,提供監控全量和增量數據統計圖、應用性能預警等。

特點

組合驅動 ,自定義庫同步到庫組合,關系型數據庫與非關系型之間組合,任意搭配表同步映射關系

實時監控 ,驅動全量或增量實時同步運行狀態、結果、同步日志和系統日志

開發插件 ,自定義轉化同步邏輯

設計

架構圖

f4359d5e-f496-11ed-90ce-dac502259ad0.png

基于 Spring Boot + MyBatis Plus + Vue & Element 實現的后臺管理系統 + 用戶小程序,支持 RBAC 動態權限、多租戶、數據權限、工作流、三方登錄、支付、短信、商城等功能

項目地址:https://github.com/YunaiV/ruoyi-vue-pro

視頻教程:https://doc.iocoder.cn/video/

應用場景

連接器 數據源 目標源 支持版本(包含以下)
MySQL 5.7.19以上
Oracle 10gR2 -11g
SqlServer 2008以上
PostgreSQL 9.5.25以上
ES 6.0以上
Kafka 開發中 2.10-0.9.0.0以上
File *.txt, *.unl
SQL 支持以上關系型數據庫
后期計劃 Redis

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 實現的后臺管理系統 + 用戶小程序,支持 RBAC 動態權限、多租戶、數據權限、工作流、三方登錄、支付、短信、商城等功能

項目地址:https://github.com/YunaiV/yudao-cloud

視頻教程:https://doc.iocoder.cn/video/

使用教程

1.啟動 代理 和 數據庫 服務

f43b1dce-f496-11ed-90ce-dac502259ad0.png

2.準備測試賬號,test

f4440ae2-f496-11ed-90ce-dac502259ad0.png

3.分配sysadmin角色

f44ac0f8-f496-11ed-90ce-dac502259ad0.png

4.分配指定數據庫權限

f4504a96-f496-11ed-90ce-dac502259ad0.png

PostgreSQL

通過復制流技術監聽增量事件,基于內置插件pgoutput、test_decoding實現解析wal日志

1、修改postgresql.conf文件,重啟服務

wal_level=logical

2、授予賬號權限LOGIN和REPLICATION

File

監聽文件修改時間得到變化文件,通過文件偏移量讀取最新數據

https://gitee.com/ghi/dbsyncer/issues/I55EP5

ES

定時獲取增量數據。

賬號具有訪問權限。

日志

建議MySQL、SqlServer、PostgreSQL都使用日志

f45773e8-f496-11ed-90ce-dac502259ad0.png

定時

假設源表數據格式

f45f4050-f496-11ed-90ce-dac502259ad0.pngf468bcfc-f496-11ed-90ce-dac502259ad0.png

預覽

驅動管理

f46f32a8-f496-11ed-90ce-dac502259ad0.png

驅動詳情

f476ef02-f496-11ed-90ce-dac502259ad0.png

驅動表字段關系配置

f482318c-f496-11ed-90ce-dac502259ad0.png

監控

f48c4988-f496-11ed-90ce-dac502259ad0.png

上傳插件

f4927754-f496-11ed-90ce-dac502259ad0.png

開源地址

審核編輯:彭靜

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 開源
    +關注

    關注

    3

    文章

    3407

    瀏覽量

    42713
  • 管理系統
    +關注

    關注

    1

    文章

    2574

    瀏覽量

    36109
  • 數據源
    +關注

    關注

    1

    文章

    63

    瀏覽量

    9718

原文標題:星標1.4k,一款國產開源數據同步中間件,支持多種數據源和預警功能!

文章出處:【微信號:芋道源碼,微信公眾號:芋道源碼】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    LabView動態創建數據源的方法

    在LabView中LabSQL操作數據庫是通過ODBC連接,用戶需要在ODBC中指定數據源名稱和驅動程序。因此在使用LabSQL之前,首先需要在Windows操作系統中的ODBC數據源中創建一個
    發表于 09-23 01:53

    ODBC數據源的建立

    我找不到數據源這個選項啊,怎么辦?
    發表于 04-21 11:39

    DxDataBook 如何調用網絡數據源

    DxDataBook 如何調用網絡數據源: 就是在library wizard中有三種調用三種數據源的方式:WWW、oracle、ODBC三種,后面兩種我知道怎么調用,但有人知道第一種(www)怎么調用嗎?求大神解救!!
    發表于 07-19 10:06

    QuickBI助你成為分析師——搞定數據源

    摘要: QuickBI支持多種數據源連接,添加數據源數據分析展示的第一步,下面來詳細介紹一下產品數據源
    發表于 03-28 12:43

    ViCANdo Suite直接支持數據源

    點云數據實時處理ViCANdo Suite直接支持數據源ViCANdo Suite 產品介紹
    發表于 01-05 07:28

    數據源配置工具

    odbc_for_access.exe1、可直接配置數據源。2、可直接創建Access數據庫文件。3、為數據庫配置密碼。
    發表于 07-01 16:22 ?4次下載

    如何使用Apache Spark中的DataSource API以實現數據源混合計算的實踐

    結構化,各種各樣的數據結構、格局格式,這種數據的多樣性本身即是大數據的特性之一,從而也決定了一種存儲方式不可能通吃所有。因此,數據本身決定了多種數據
    發表于 10-10 14:35 ?0次下載
    如何使用Apache Spark中的DataSource API以實現<b class='flag-5'>數據源</b>混合計算的實踐

    基于元組水平對數據源進行分層抽樣

    深網查詢在Web上眾多的應用,需要查詢大量的數據源才能獲得足夠的數據,如多媒體數據搜索、團購網站信息聚合等.應用的成功,取決于查詢多數據源的效率和效果,當前研究側重查詢與
    發表于 12-29 10:55 ?0次下載
    基于元組水平對<b class='flag-5'>數據源</b>進行分層抽樣

    基于LDA主題模型進行數據源選擇方法

    聯邦搜索是從大規模深層網上獲取信息的一種重要技術。給定一個用戶查詢,聯邦搜索系統需要解決的一個主要問題是數據源選擇問題,即從海量數據源中選出一組最有可能返回相關結果的數據源。現有的數據源
    發表于 01-04 15:00 ?0次下載
    基于LDA主題模型進行<b class='flag-5'>數據源</b>選擇方法

    Deep Web數據源選擇和集成方法

    針對基于數據源質量選擇方法的數據源數據爬取時存在代價大、重復率高的問題,提出一種結合兩層選擇模型的Deep Web數據源選擇和集成方法。該方法根據
    發表于 02-09 15:24 ?0次下載
    Deep Web<b class='flag-5'>數據源</b>選擇和集成方法

    數據倉庫入門之創建數據源

    首先需要創建一個數據源,SSAS(分析服務)將利用數據源來連接數據庫。一、準備環境二、啟動SSDT,新建項目三、創建數據源
    發表于 02-24 14:48 ?2566次閱讀
    <b class='flag-5'>數據</b>倉庫入門之創建<b class='flag-5'>數據源</b>

    Quick BI 支持多種數據源進行多維分析

    Quick?BI?支持多種數據源進行多維分析 一、摘要 隨著互聯網的高速發展,數據量爆發式增長的同時,數據的存儲形式也開始呈現出多樣性,有結構化存儲,如?Mysql, Oracle
    發表于 12-27 16:45 ?393次閱讀
    Quick BI <b class='flag-5'>支持</b><b class='flag-5'>多種數據源</b>進行多維分析

    SpringBoot多數據源及事務解決方案

    當Spring容器創建AbstractRoutingDataSource對象時,通過調用afterPropertiesSet復制上述目標數據源。由此可見,一旦數據源實例對象創建完畢,業務無法再添加新的數據源
    的頭像 發表于 04-12 11:22 ?2325次閱讀

    數據源數據轉換和同步的ETL工具推薦

    多種數據源的連接,包括文件系統、數據庫、消息隊列、網絡接口等。它提供了可視化的界面和強大的數據處理功能,可以輕松地創建數據流,進行
    的頭像 發表于 07-28 16:32 ?1159次閱讀

    weblogic修改數據源需要重啟嗎

    WebLogic是一款支持Java EE(Java Enterprise Edition)規范的應用服務器,通過WebLogic可進行數據源的配置和管理。在WebLogic中修改數據源是否需要重啟
    的頭像 發表于 12-05 16:09 ?1536次閱讀
    云鼎百家乐官网程序开发有限公司| 红桃K百家乐的玩法技巧和规则 | 免费百家乐官网缩水| 真人百家乐破解软件下载| 真人百家乐赌场娱乐网规则| 大发888论坛爱好| 博亿线上娱乐城| 百家乐官网游戏机分析仪| 沙龙百家乐官网娱乐场开户注册| 澳门玩百家乐官网的玩法技巧和规则 | 镇安县| 百家乐官网公式论坛| 百家乐胜率被控制| 威尼斯人娱乐城送| 澳门博彩 | 澳门百家乐官网是怎样赌| 24山吉凶视频| 百家乐百战百胜| 恒和国际| 真人百家乐官网大转轮| 百家乐投注方法多不多| 大发888游戏场下载| 百家乐官网怎样发牌| 真博百家乐官网的玩法技巧和规则| 百家乐官网园太阳| 网上百家乐假| 網絡博彩| 兰桂坊百家乐官网的玩法技巧和规则 | 1368棋牌官网| 玩百家乐官网输澳门百家乐官网现场 | 百家乐e78| 奇台县| 真人百家乐官网国际第一品牌| 红桃K百家乐官网的玩法技巧和规则| 百家乐官网唯一能长期赢钱的方法| 单张百家乐论坛| 青鹏百家乐官网游戏币 | KK百家乐娱乐城| 网络真人赌场| 做生意怎样看风水| 德州扑克游戏|