zlink 是一个基于 flink 开发的分布式数据开发工具,提供简单的易用的操作界面,降低用户学习 flink 的成本,缩短任务配置时间,避免配置过程中出现错误。用户可以通过拖拉拽的方式实现数据的实时同步,支持多数据源之间的数据同步。同时一键部署,支持查看日志,任务报警,任务重启等功能。
访问 http:ip:5465
地址,进入登录界面
可以进行创建,修改,删除数据源,并且可以识别出ip是否为内网
此处为编辑数据源,默认在保存前会进行一次测试连接,如果测试不通过,则不保存。
flink 配置展示界面
创建 flink 环境界面,flink 模式有 3 中,已支持 standalone 以及 yarn,目前 k8s 正在开发中。如果是 yarn 模式需要填写 FLINK_HOME、core_site、hdfs_site、yarn_site 路径。
例如下图:
此处的源端数据库
和目标数据库
是在数据源中心
配置的
在源端数据库
数据库中勾选上要同步的表结构,同时在 目标数据库
上勾选上将要同步到的数据库,点击创建表结构
按钮,将会按照下面表结构的前后缀自动创建表(可以不填)。
在 源端数据库
和 目标数据库
选中要同步的表结构,将会在右侧生成表名。注意:如果是多个表,要保证源端数据库表
和目标数据库表
顺序一致,若顺序不一致可以拖动
然后点击 生成cdc任务按钮
就可以生成 flink 任务
此时生成的列表就是刚刚生成的同步表结构任务,每个任务都可以单独操作,也可以批量操作。点击 url 连接就会跳转到对应的 flink-web 界面。
点击飞机按钮就可以选择集群(在flink 配置中心设置的)推送到指定的集群上,此时就可以在 yarn 管理界面上查看任务。
未来这里会添加 flink-sql 功能,避免在代码中写死 sql。同时可以添加调试功能,一键推送到指定集群上运行。
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。