武汉大龄程序员，今天来一篇整库同步到数据湖的方案， 首先，我们需要选择一个好的

小斌斌说科技 2025-03-17 19:34:52

武汉大龄程序员，今天来一篇整库同步到数据湖的方案，

首先，我们需要选择一个好的ETL工具，之前使用dinky也遇到一些问题，还未解决，今天，我给大家推荐一个新的数据开发平台streampark，这个平台支持flink和spark两种底层框架，可以支持可视化的方式编写同步作业。

然后，我选取的源数据库是mysql，目标数据湖用的是paimon，那就开始直接上手使用paimon提供的cdc jar包，这个jar包支持模式演变以及整库同步，用起来非常丝滑，没想到很顺利的就成功了，感觉比dinky容易上手一些。

0 阅读：45

猜你喜欢

小斌斌说科技

小斌斌说科技

欢迎大家给我点赞关注

作者最新文章

1
为什么历史上每次科技革命，包括如今的AI的创新，都没有让人更轻松反而更累？ 科
2
苹果秋季发布会，要放大招了？各种爆料满天飞，看来这次苹果憋了个大的。iPhone
3
李彦宏最近怕是笑不出来了。百度两位高管接连翻车，热搜上直接包场唱起连环戏。 先是
4
电脑开不了机，有没有懂的朋友帮忙看看是怎么回事呀… 电脑平时用的少，现在一
5
超旗舰电视来咯，海信新品RGB-Mini LED电视发布前瞻 海信电视近期也是新
6
惊呆了！手机用了一年电池居然跟新买的一样？刚看到荣耀Magic6 Pro用户晒出
7
小米就是牛，产品还没生产出来，网上预售量都要超过1个亿了。   前几天315晚会
8
根据今日（2025年3月17日）最新消息，关于鸿蒙系统的动态汇总如下： 1.
9
突发！中国移动遭遇用户大规模流失，51万老用户用脚投票转投别家！多位网友爆料，使
10
牛！恭喜小米，恭喜雷军！ 小米汽车运动声浪喜获德国if设计大奖 别问我这是什么奖

热门分类

推荐 热榜 军事 NBA 体育 社会 明星八卦 娱乐 财经 科技 汽车 历史 国际 游戏 动漫 公益 搞笑 商业 互联网 数码 国际足球 房产 家居 时尚 科学探索 职场 育儿 股票 教育 影视 情感 热点 中国军情 武器 中国南海 中国足球 亚洲杯 科比 综合体育 CBA 投资 楼市 大咖秀 外汇 创业 风口 SUV 豪车 概念车 优惠 新能源 美国 欧洲 朝日韩 俄罗斯 孕期 街拍 恋爱攻略 婚姻 正能量

科技TOP

1
有没有注意到海尔老板的领带上都是空调、洗衣机，双开门冰箱，细节满满。
2
现在的ai换脸真离谱…
3
最新国行三星手机系列价格更新，大家等急了吧，S25系列还没货[抠鼻]
4
雷军到底投了多少家企业，看看这个版图，不比马斯克小了。
5
【#OpenAI称DeepSeek是另一个华为#：受“国家补贴”、“国家控制”】
6
6G时代来临，科技巨头布局新赛道！
7
建议所有小米红米手机打开这个设置👿
8
小米15系列手机参数大起底，你选哪一款？
9
苹果操作系统外观或颠覆有消息称，苹果操作系统或将迎来全面革新，苹果公司正在筹备有
10
京东的刘强东曾经说过这么一句话：“以后国内只会有两个快递公司，一个京东，一个

科技最新文章

1
315晚会一结束，我立马把微信、支付宝上绑着的银行卡全给解了，专门准备一张银行卡
2
小米雷总！雷军又一次上了央视3.15晚会，不过这一次不是因为制造“卫生巾”、而是
3
余承东总于是忍不住了！刚刚又提前对即将于20号发布的华为Pura新品进行了“爆料
4
6G时代来临，科技巨头布局新赛道！
5
25年荣耀手机机型推荐的金字塔图，你有没有用这里面的荣耀手机呢？
6
2025年必须关注的十大科技方向，建议收藏！1.人形机器人长盛轴承、巨轮智能、拓
7
华为Mate80神秘曝光，震撼黑科技来袭！其微孔屏占比飙升至前所未有的98%，搭
8
错了！错了！错了！余承东所言，全国人民都买得起的，华为新形态手机，不卖199
9
京东的刘强东曾经说过这么一句话：“以后国内只会有两个快递公司，一个京东，一个
10
【#OpenAI称DeepSeek是另一个华为#：受“国家补贴”、“国家控制”】