武汉大龄程序员，今天来一篇整库同步到数据湖的方案， 首先，我们需要选择一个好的

小斌斌说科技 2025-03-17 19:34:52

武汉大龄程序员，今天来一篇整库同步到数据湖的方案，

首先，我们需要选择一个好的ETL工具，之前使用dinky也遇到一些问题，还未解决，今天，我给大家推荐一个新的数据开发平台streampark，这个平台支持flink和spark两种底层框架，可以支持可视化的方式编写同步作业。

然后，我选取的源数据库是mysql，目标数据湖用的是paimon，那就开始直接上手使用paimon提供的cdc jar包，这个jar包支持模式演变以及整库同步，用起来非常丝滑，没想到很顺利的就成功了，感觉比dinky容易上手一些。

0 阅读：45

猜你喜欢

小斌斌说科技

小斌斌说科技

欢迎大家给我点赞关注

作者最新文章

1
oppo官方这是自爆上瘾了吧！先是Find X8 Ultra手机，现在新款平板O
2
SSD固态硬盘涨价的消息传得沸沸扬扬的，感觉不是空穴来风，看三星9100pro确
3
戴尔Precision 7780移动工作站，地表最强战斗机！ 搭载i9 139
4
为什么历史上每次科技革命，包括如今的AI的创新，都没有让人更轻松反而更累？ 科
5
苹果秋季发布会，要放大招了？各种爆料满天飞，看来这次苹果憋了个大的。iPhone
6
李彦宏最近怕是笑不出来了。百度两位高管接连翻车，热搜上直接包场唱起连环戏。 先是
7
电脑开不了机，有没有懂的朋友帮忙看看是怎么回事呀… 电脑平时用的少，现在一
8
超旗舰电视来咯，海信新品RGB-Mini LED电视发布前瞻 海信电视近期也是新
9
惊呆了！手机用了一年电池居然跟新买的一样？刚看到荣耀Magic6 Pro用户晒出
10
小米就是牛，产品还没生产出来，网上预售量都要超过1个亿了。   前几天315晚会

热门分类

推荐 热榜 军事 NBA 体育 社会 明星八卦 娱乐 财经 科技 汽车 历史 国际 游戏 动漫 公益 搞笑 商业 互联网 数码 国际足球 房产 家居 时尚 科学探索 职场 育儿 股票 教育 影视 情感 热点 中国军情 武器 中国南海 中国足球 亚洲杯 科比 综合体育 CBA 投资 楼市 大咖秀 外汇 创业 风口 SUV 豪车 概念车 优惠 新能源 美国 欧洲 朝日韩 俄罗斯 孕期 街拍 恋爱攻略 婚姻 正能量

科技TOP

1
有没有注意到海尔老板的领带上都是空调、洗衣机，双开门冰箱，细节满满。
2
现在的ai换脸真离谱…
3
雷军到底投了多少家企业，看看这个版图，不比马斯克小了。
4
【#OpenAI称DeepSeek是另一个华为#：受“国家补贴”、“国家控制”】
5
6G时代来临，科技巨头布局新赛道！
6
建议所有小米红米手机打开这个设置👿
7
小米15系列手机参数大起底，你选哪一款？
8
苹果操作系统外观或颠覆有消息称，苹果操作系统或将迎来全面革新，苹果公司正在筹备有
9
京东的刘强东曾经说过这么一句话：“以后国内只会有两个快递公司，一个京东，一个
10
华为nova14系列，销量准备再次起飞？去年被大众不看好的nova13系列，

科技最新文章

1
据爆料，华为全新形态手机的正面照已经曝光。这款手机采用上下折叠设计，相比市面
2
大家发没发现，李嘉诚的儿子李泽钜用的手机，不是最新款苹果16pro，
3
大家都猜错了，其实就是“折叠机”，不存在什么卷轴屏，伸缩屏，只是手机的比例，做成
4
错了！错了！错了！想不到的，华为新形态手机，不是卷轴屏，不是双折叠，不是小折
5
315晚会一结束，我立马把微信、支付宝上绑着的银行卡全给解了，专门准备一张银行卡
6
华为新形态手机，全网首曝:太激动了！华为新形态手机，终于曝光了！
7
华为nova14系列，销量准备再次起飞？去年被大众不看好的nova13系列，
8
小米雷总！雷军又一次上了央视3.15晚会，不过这一次不是因为制造“卫生巾”、而是
9
余承东总于是忍不住了！刚刚又提前对即将于20号发布的华为Pura新品进行了“爆料
10
6G时代来临，科技巨头布局新赛道！