設計
應用場景
使用教程
預覽
DBSyncer是一款開源的數據同步中間件,提供MySQL、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步場景。
支持上傳插件自定義同步轉換業務,提供監控全量和增量數據統計圖、應用性能預警等。
特點
組合驅動 ,自定義庫同步到庫組合,關系型數據庫與非關系型之間組合,任意搭配表同步映射關系
實時監控 ,驅動全量或增量實時同步運行狀態、結果、同步日志和系統日志
開發插件 ,自定義轉化同步邏輯
設計
架構圖
基于 Spring Boot + MyBatis Plus + Vue & Element 實現的后臺管理系統 + 用戶小程序,支持 RBAC 動態權限、多租戶、數據權限、工作流、三方登錄、支付、短信、商城等功能
項目地址:https://github.com/YunaiV/ruoyi-vue-pro
視頻教程:https://doc.iocoder.cn/video/
應用場景
連接器 | 數據源 | 目標源 | 支持版本(包含以下) |
---|---|---|---|
MySQL | 5.7.19以上 | ||
Oracle | 10gR2 -11g | ||
SqlServer | 2008以上 | ||
PostgreSQL | 9.5.25以上 | ||
ES | 6.0以上 | ||
Kafka | 開發中 | 2.10-0.9.0.0以上 | |
File | *.txt, *.unl | ||
SQL | 支持以上關系型數據庫 | ||
后期計劃 | Redis |
基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 實現的后臺管理系統 + 用戶小程序,支持 RBAC 動態權限、多租戶、數據權限、工作流、三方登錄、支付、短信、商城等功能
項目地址:https://github.com/YunaiV/yudao-cloud
視頻教程:https://doc.iocoder.cn/video/
使用教程
1.啟動 代理 和 數據庫 服務
2.準備測試賬號,test
3.分配sysadmin角色
4.分配指定數據庫權限
PostgreSQL
通過復制流技術監聽增量事件,基于內置插件pgoutput、test_decoding實現解析wal日志
1、修改postgresql.conf文件,重啟服務
wal_level=logical
2、授予賬號權限LOGIN和REPLICATION
File
監聽文件修改時間得到變化文件,通過文件偏移量讀取最新數據
https://gitee.com/ghi/dbsyncer/issues/I55EP5
ES
定時獲取增量數據。
賬號具有訪問權限。
日志
建議MySQL、SqlServer、PostgreSQL都使用日志
定時
假設源表數據格式
預覽
驅動管理
驅動詳情
驅動表字段關系配置
監控
上傳插件
開源地址
-
開源
+關注
關注
3文章
3407瀏覽量
42713 -
管理系統
+關注
關注
1文章
2574瀏覽量
36109 -
數據源
+關注
關注
1文章
63瀏覽量
9718
原文標題:星標1.4k,一款國產開源數據同步中間件,支持多種數據源和預警功能!
文章出處:【微信號:芋道源碼,微信公眾號:芋道源碼】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
LabView動態創建數據源的方法
DxDataBook 如何調用網絡數據源
如何使用Apache Spark中的DataSource API以實現數據源混合計算的實踐
![如何使用Apache Spark中的DataSource API以實現<b class='flag-5'>數據源</b>混合計算的實踐](https://file.elecfans.com/web2/M00/49/F6/pYYBAGKhvH6ACMD2AAAoef-r7BQ693.png)
基于元組水平對數據源進行分層抽樣
![基于元組水平對<b class='flag-5'>數據源</b>進行分層抽樣](https://file.elecfans.com/web2/M00/49/86/poYBAGKhwMKAAx7GAAAdDJSaFTU621.jpg)
基于LDA主題模型進行數據源選擇方法
![基于LDA主題模型進行<b class='flag-5'>數據源</b>選擇方法](https://file.elecfans.com/web2/M00/49/88/poYBAGKhwMSAUIlhAAAYKFDWvdY622.jpg)
Deep Web數據源選擇和集成方法
![Deep Web<b class='flag-5'>數據源</b>選擇和集成方法](https://file.elecfans.com/web1/M00/45/FB/pIYBAFp9TSiAZ8IbAACtPW_Cs3A636.jpg)
數據倉庫入門之創建數據源
![<b class='flag-5'>數據</b>倉庫入門之創建<b class='flag-5'>數據源</b>](https://file.elecfans.com/web1/M00/46/11/o4YBAFqRDtKABT9RAAN7Kk49Dkc014.png)
Quick BI 支持多種數據源進行多維分析
![Quick BI <b class='flag-5'>支持</b><b class='flag-5'>多種數據源</b>進行多維分析](https://file.elecfans.com/web1/M00/7F/B4/pIYBAFwkkW6AXZcdAAIDgHfGcUo775.png)
評論