邯郸营销网站建设,做海报的专业网站,北京网站建设学校,php做网站子页模板zlink 是一个基于 flink 开发的分布式数据开发工具#xff0c;提供简单的易用的操作界面#xff0c;降低用户学习 flink 的成本#xff0c;缩短任务配置时间#xff0c;避免配置过程中出现错误。用户可以通过拖拉拽的方式实现数据的实时同步#xff0c;支持多数据源之间的…zlink 是一个基于 flink 开发的分布式数据开发工具提供简单的易用的操作界面降低用户学习 flink 的成本缩短任务配置时间避免配置过程中出现错误。用户可以通过拖拉拽的方式实现数据的实时同步支持多数据源之间的数据同步。同时一键部署支持查看日志任务报警任务重启等功能。
链接地址GitHub - zzzzzzzs/zlink: zlink 是一个基于 flink 开发的分布式数据开发工具提供简单的易用的操作界面降低用户学习 flink 的成本缩短任务配置时间避免配置过程中出现错误。用户可以通过拖拉拽的方式实现数据的实时同步支持多数据源之间的数据同步。同时一键部署支持查看日志任务报警任务重启等功能。zlink 是一个基于 flink 开发的分布式数据开发工具提供简单的易用的操作界面降低用户学习 flink 的成本缩短任务配置时间避免配置过程中出现错误。用户可以通过拖拉拽的方式实现数据的实时同步支持多数据源之间的数据同步。同时一键部署支持查看日志任务报警任务重启等功能。 - GitHub - zzzzzzzs/zlink: zlink 是一个基于 flink 开发的分布式数据开发工具提供简单的易用的操作界面降低用户学习 flink 的成本缩短任务配置时间避免配置过程中出现错误。用户可以通过拖拉拽的方式实现数据的实时同步支持多数据源之间的数据同步。同时一键部署支持查看日志任务报警任务重启等功能。https://github.com/zzzzzzzs/zlink
使用场景
提供可视化界面实现实时数据的快速编排任务报警元数据监控解决复杂数据的同步问题以 flink 为基础获得数据一致性保障
技术概述 特征
支持FlinkCDC全库实时入库入湖多库输出自动建表。通过 web 拖拉拽的方式构建实时同步任务减轻了大量字段校验等繁杂工作支持 flinksql 开发自动提示补全、语法高亮、语句美化、在线调试支持FlinkSQL多开发执行模式Local, Standalone, Yarn Per-Job, Kubernetes Application.支持自动管理的 SavePoint/CheckPoint 恢复和触发机制最新、最早、指定等。flink 任务运行记录展示可以在页面操作停止任务支持修改任务状态启动/停止即时生效支持实时工作告警和告警群钉钉、微信、飞书、邮箱等。支持 SPI 插件
登录界面
访问 http:ip:5465 地址进入登录界面 数据源配置中心 可以进行创建修改删除数据源并且可以识别出ip是否为内网 此处为编辑数据源默认在保存前会进行一次测试连接如果测试不通过则不保存。
flink 配置中心 flink 配置展示界面 创建 flink 环境界面flink 模式有 3 中已支持 standalone 以及 yarn目前 k8s 正在开发中。如果是 yarn 模式需要填写 FLINK_HOME、core_site、hdfs_site、yarn_site 路径。
例如下图 元数据中心 此处的源端数据库和目标数据库是在数据源中心配置的
同步表结构 在源端数据库 数据库中勾选上要同步的表结构同时在 目标数据库 上勾选上将要同步到的数据库点击创建表结构按钮将会按照下面表结构的前后缀自动创建表可以不填。 cdc 实时同步数据 在 源端数据库 和 目标数据库 选中要同步的表结构将会在右侧生成表名。注意如果是多个表要保证源端数据库表 和目标数据库表 顺序一致若顺序不一致可以拖动 然后点击 生成cdc任务按钮 就可以生成 flink 任务
flink 任务列表 此时生成的列表就是刚刚生成的同步表结构任务每个任务都可以单独操作也可以批量操作。点击 url 连接就会跳转到对应的 flink-web 界面。
推送 点击飞机按钮就可以选择集群在flink 配置中心设置的推送到指定的集群上此时就可以在 yarn 管理界面上查看任务。
flink-sql 未来这里会添加 flink-sql 功能避免在代码中写死 sql。同时可以添加调试功能一键推送到指定集群上运行。
