武汉大龄程序员，今天来一篇整库同步到数据湖的方案， 首先，我们需要选择一个好的

小斌斌说科技 2025-03-17 19:34:52

武汉大龄程序员，今天来一篇整库同步到数据湖的方案，

首先，我们需要选择一个好的ETL工具，之前使用dinky也遇到一些问题，还未解决，今天，我给大家推荐一个新的数据开发平台streampark，这个平台支持flink和spark两种底层框架，可以支持可视化的方式编写同步作业。

然后，我选取的源数据库是mysql，目标数据湖用的是paimon，那就开始直接上手使用paimon提供的cdc jar包，这个jar包支持模式演变以及整库同步，用起来非常丝滑，没想到很顺利的就成功了，感觉比dinky容易上手一些。

0 阅读：45

猜你喜欢

小斌斌说科技

小斌斌说科技

欢迎大家给我点赞关注

作者最新文章

1
小米就是牛，产品还没生产出来，网上预售量都要超过1个亿了。   前几天315晚会
2
根据今日（2025年3月17日）最新消息，关于鸿蒙系统的动态汇总如下： 1.
3
突发！中国移动遭遇用户大规模流失，51万老用户用脚投票转投别家！多位网友爆料，使
4
牛！恭喜小米，恭喜雷军！ 小米汽车运动声浪喜获德国if设计大奖 别问我这是什么奖
5
现在顺风车已经改变本身性质 哈啰突然搞了个车主129块30天会员，平均每天
6
紧跟某为脚步，字节跳动辞退违规员工353人，追究刑事责任39人 原以为某为裁员已
7
中兴发布了一款内嵌满血版Deepseek的手机 前段时间，看媒体报道，中兴旗下
8
国航目前运营2架B744和5架B748空中女皇！ 国内目前很少有航司运营了，货机
9
华为新形态手机，全网首曝 : 太激动了！华为新形态手机，终于曝光了！
10
武汉大龄程序员，今天来一篇整库同步到数据湖的方案， 首先，我们需要选择一个好的

热门分类

推荐 热榜 军事 NBA 体育 社会 明星八卦 娱乐 财经 科技 汽车 历史 国际 游戏 动漫 公益 搞笑 商业 互联网 数码 国际足球 房产 家居 时尚 科学探索 职场 育儿 股票 教育 影视 情感 热点 中国军情 武器 中国南海 中国足球 亚洲杯 科比 综合体育 CBA 投资 楼市 大咖秀 外汇 创业 风口 SUV 豪车 概念车 优惠 新能源 美国 欧洲 朝日韩 俄罗斯 孕期 街拍 恋爱攻略 婚姻 正能量

科技TOP

1
有没有注意到海尔老板的领带上都是空调、洗衣机，双开门冰箱，细节满满。
2
现在的ai换脸真离谱…
3
最新国行三星手机系列价格更新，大家等急了吧，S25系列还没货[抠鼻]
4
雷军到底投了多少家企业，看看这个版图，不比马斯克小了。
5
【#OpenAI称DeepSeek是另一个华为#：受“国家补贴”、“国家控制”】
6
6G时代来临，科技巨头布局新赛道！
7
建议所有小米红米手机打开这个设置👿
8
小米15系列手机参数大起底，你选哪一款？
9
苹果操作系统外观或颠覆有消息称，苹果操作系统或将迎来全面革新，苹果公司正在筹备有
10
京东的刘强东曾经说过这么一句话：“以后国内只会有两个快递公司，一个京东，一个

科技最新文章

1
315晚会一结束，我立马把微信、支付宝上绑着的银行卡全给解了，专门准备一张银行卡
2
小米雷总！雷军又一次上了央视3.15晚会，不过这一次不是因为制造“卫生巾”、而是
3
余承东总于是忍不住了！刚刚又提前对即将于20号发布的华为Pura新品进行了“爆料
4
6G时代来临，科技巨头布局新赛道！
5
25年荣耀手机机型推荐的金字塔图，你有没有用这里面的荣耀手机呢？
6
2025年必须关注的十大科技方向，建议收藏！1.人形机器人长盛轴承、巨轮智能、拓
7
错了！错了！错了！余承东所言，全国人民都买得起的，华为新形态手机，不卖199
8
京东的刘强东曾经说过这么一句话：“以后国内只会有两个快递公司，一个京东，一个
9
【#OpenAI称DeepSeek是另一个华为#：受“国家补贴”、“国家控制”】
10
华为新形态Pura新机，售价预计为:1、1999元起售（概率0%）；2、29