武汉大龄程序员，今天来一篇整库同步到数据湖的方案， 首先，我们需要选择一个好的

小斌斌说科技 2025-03-17 19:34:52

武汉大龄程序员，今天来一篇整库同步到数据湖的方案，

首先，我们需要选择一个好的ETL工具，之前使用dinky也遇到一些问题，还未解决，今天，我给大家推荐一个新的数据开发平台streampark，这个平台支持flink和spark两种底层框架，可以支持可视化的方式编写同步作业。

然后，我选取的源数据库是mysql，目标数据湖用的是paimon，那就开始直接上手使用paimon提供的cdc jar包，这个jar包支持模式演变以及整库同步，用起来非常丝滑，没想到很顺利的就成功了，感觉比dinky容易上手一些。

0 阅读：45

猜你喜欢

小斌斌说科技

小斌斌说科技

欢迎大家给我点赞关注

作者最新文章

1
来自知名数码博主数码闲聊站的消息+分析： 1、OPPO Find X8S系列将首
2
品牌方追觅科技发布AWE上海家电博览会追觅站台的销售盛况，注意到他在讲到顿顿时，
3
余承东回应被骂：我情商比较低。 华为新机PuraX上市。起售价7499。因前期
4
黄仁勋在19日的采访中表示，大陆无疑将成为AI强国，不仅有更多像是DeepSee
5
小米疑似对华为宣战？2025年的手机机圈火药味十足，3月20日，华为发布折叠屏新
6
不查不知道，孟晚舟让美国怕到跨国绑架！ 一查更震撼，她竟用脚镣砸出个博士证！ 1
7
以前以为手机换电池很简单，昨天一看才知道很费劲那，用薄片撬液体试剂滴，打开手机底
8
三星手机销量常居首位，就生死存亡了？三星的自产CPU势头不妙，芯片代工根本打不过
9
昨天忍不住5799的价格入手了新款的M4 Macbook Air，换掉了服役将近
10
oppo官方这是自爆上瘾了吧！先是Find X8 Ultra手机，现在新款平板O

热门分类

推荐 热榜 军事 NBA 体育 社会 明星八卦 娱乐 财经 科技 汽车 历史 国际 游戏 动漫 公益 搞笑 商业 互联网 数码 国际足球 房产 家居 时尚 科学探索 职场 育儿 股票 教育 影视 情感 热点 中国军情 武器 中国南海 中国足球 亚洲杯 科比 综合体育 CBA 投资 楼市 大咖秀 外汇 创业 风口 SUV 豪车 概念车 优惠 新能源 美国 欧洲 朝日韩 俄罗斯 孕期 街拍 恋爱攻略 婚姻 正能量

科技TOP

1
有没有注意到海尔老板的领带上都是空调、洗衣机，双开门冰箱，细节满满。
2
现在的ai换脸真离谱…
3
雷军到底投了多少家企业，看看这个版图，不比马斯克小了。
4
【#OpenAI称DeepSeek是另一个华为#：受“国家补贴”、“国家控制”】
5
这玩意AI也能生成？[捂脸哭]
6
6G时代来临，科技巨头布局新赛道！
7
建议所有小米红米手机打开这个设置👿
8
小米15系列手机参数大起底，你选哪一款？
9
苹果操作系统外观或颠覆有消息称，苹果操作系统或将迎来全面革新，苹果公司正在筹备有
10
京东的刘强东曾经说过这么一句话：“以后国内只会有两个快递公司，一个京东，一个

科技最新文章

1
【#周云杰回应出圈#：最大的收获不是让网友认识我个人，而是让海尔站在了大家面前
2
刚刚发布的，华为PuraX，三大缺点:一、没有新形态:麻烦余大嘴给解
3
这玩意AI也能生成？[捂脸哭]
4
我问老公，为什么人人都喊小米做卫生巾，而不喊华为，京东，胖东来这些企业？老公
5
红米k80vs红米k90本来年底就是等K80的。一看摄像头那一坨丑到吐的东西
6
据爆料，华为全新形态手机的正面照已经曝光。这款手机采用上下折叠设计，相比市面
7
红米Turbo4Pro前瞻对比红米K80，我个人认为红米Turbo4P还是值得期
8
小米官宣！7500mAh超猛新机，终于要登场下个月，红米又要放大招啦，全
9
大家发没发现，李嘉诚的儿子李泽钜用的手机，不是最新款苹果16pro，
10
大家都猜错了，其实就是“折叠机”，不存在什么卷轴屏，伸缩屏，只是手机的比例，做成