Know Streaming
是一套云原生的 Kafka 管控平台,脱胎于众多互联网内部多年的 Kafka 运营实践经验,专注于 Kafka 运维管控、监控告警、资源治理、多活容灾等核心场景,在用户体验、监控、运维管控上进行了平台化、可视化、智能化的建设,提供一系列特色的功能,极大地方便了用户和运维人员的日常使用,让普通运维人员都能成为 Kafka 专家。
下面是用户第一次使用我们产品的典型体验路径:
用户管理是提供给管理员进行人员管理和用户角色管理的功能模块,可以进行新增用户和分配角色。下面是一个典型的场景: eg:团队加入了新成员,需要给这位成员分配一个使用系统的账号,需要以下几个步骤
步骤 1:点击“系统管理”>“用户管理”>“人员管理”>“新增用户”,输入“账号”、“实名”、“密码”,根据此账号所需要的权限,选择此账号所对应的角色。如果有满足权限的角色,则用户新增成功。如果没有满足权限的角色,则需要新增角色(步骤 2)
步骤 2:点击“系统管理”>“用户管理”>“角色管理”>“新增角色”。输入角色名称和描述,给此角色分配权限,点击“确定”,角色新增成功
步骤 3:根据此新增的角色,参考步骤 1,重新新增用户
步骤 4:此用户账号新增成功,可以进行登录产品使用
步骤 1:点击“多集群管理”>“接入集群”
步骤 2:填写相关集群信息
集群名称:支持中英文、下划线、短划线(-),最长 128 字符。平台内不能重复
步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“新增 Topic”按钮>“创建 Topic“抽屉
步骤 2:输入“Topic 名称(不能重复)”、“Topic 描述”、“分区数”、“副本数”、“数据保存时间”、“清理策略(删除或压缩)”
步骤 3:展开“更多配置”可以打开高级配置选项,根据自己需要输入相应配置参数
步骤 4:点击“确定”,创建 Topic 完成
步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“Topic 列表“>操作项”扩分区“>“扩分区”抽屉
步骤 2:扩分区抽屉展示内容为“流量的趋势图”、“当前分区数及支持的最低消息写入速率”、“扩分区后支持的最低消息写入速率”
步骤 3:输入所需的分区总数,自动计算出扩分区后支持的最低消息写入速率
步骤 4:点击确定,扩分区完成
步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“批量操作下拉“>“批量扩缩副本“>“批量扩缩容”抽屉
步骤 2:选择所需要进行扩缩容的 Topic,可多选,所选择的 Topic 出现在下方 Topic 列表中
步骤 3:Topic 列表展示 Topic“近三天平均流量”、“近三天峰值流量及时间”、“Partition 数”、”当前副本数“、“新副本数”
步骤 4:扩容时,选择目标节点,新增的副本会在选择的目标节点上;缩容时不需要选择目标节点,自动删除最后一个(或几个)副本
步骤 5:输入迁移任务配置参数,包含限流值和任务执行时间
步骤 6:输入任务描述
步骤 7:点击“确定”,创建 Topic 扩缩副本任务
步骤 8:去“Job”模块的 Job 列表查看创建的任务,如果已经执行则可以查看执行进度;如果未开始执行则可以编辑任务
步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“批量操作下拉“>“批量迁移“>“批量迁移”抽屉
步骤 2:选择所需要进行迁移的 Topic,可多选,所选择的 Topic 出现在下方 Topic 列表中
步骤 3:选择所需要迁移的 partition 和迁移数据的时间范围
步骤 4:选择目标节点(节点数必须不小于最大副本数)
步骤 5:点击“预览任务计划”,打开“任务计划”二次抽屉,可对目标 Broker ID 进行编辑
步骤 6:输入迁移任务配置参数,包含限流值和任务执行时间
步骤 7:输入任务描述
步骤 8:点击“确定”,创建 Topic 迁移任务
步骤 9:去“Job”模块的 Job 列表查看创建的任务,如果已经执行则可以查看执行进度;如果未开始执行则可以编辑任务
步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”>“集群健康状态旁边 icon”>“健康度设置抽屉”
步骤 2:健康度设置抽屉展示出了检查项和其对应的权重,可以修改检查项的检查规则
步骤 3:检查规则可配置,分别为
步骤 4:设置完成后,点击“确认”,健康检查规则设置成功
步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”>“指标筛选 icon”>“指标筛选抽屉”
步骤 2:指标筛选抽屉展示信息为以下几类“Health”、“Cluster”、“Broker”、“Consumer”、“Security”、“Job”
步骤 3:默认勾选比较重要的指标进行展示。根据需要选中/取消选中相应指标,点击”确认“,指标筛选成功,展示的图表随之变化
步骤 1:点击“多集群管理”>“集群卡片”>“Brokers”>“Broker ID”>“Configuration”TAB>“编辑”按钮
步骤 2:输入配置项的新配置内容
步骤 3:(选填)点击“应用于全部 Broker”,将此配置项的修改应用于全部的 Broker
步骤 4:点击“确认”,Broker 配置修改成功
步骤 1:点击“多集群管理”>“集群卡片”>“Consumer”>“Consumer Group”名称>“Consumer Group 详情”抽屉>“重置 Offset”按钮>“重置 Offset”抽屉
步骤 2:选择重置 Offset 的类型,可“重置到指定时间”或“重置分区”
步骤 3:重置到指定时间,可选择“最新 Offset”或“自定义时间”
步骤 4:重置分区,可选择 partition 和其重置的 offset
步骤 5:点击“确认”,重置 Offset 开始执行
步骤 1:点击“多集群管理”>“集群卡片”>“Security”>“Users”>“新增 ACL”
步骤 2:输入 ACL 配置参数
步骤 3:点击“确定”,新增 ACL 成功
登录:输入账号密码,点击登录
退出登录:鼠标悬停右上角“头像”或者“用户名”,出现小弹窗“登出”,点击“登出”,退出登录
用户登录完成之后,点击页面右上角【系统管理】按钮,切换到系统管理的视角,可以进行配置管理、用户管理、审计日志查看。
配置管理是提供给管理员一个快速配置配置文件的能力,所配置的配置文件将会在对应模块生效。
步骤 1:点击”系统管理“>“配置管理”
步骤 2:列表展示配置所属模块、配置键、配置值、启用状态、更新时间、更新人。列表有操作项编辑、删除,可对配置模块、配置键、配置值、描述、启用状态进行配置,也可删除此条配置
步骤 1:点击“系统管理”>“配置管理”>“新增配置”
步骤 2:模块:下拉选择所有可配置的模块;配置键:不限制输入内容,500 字以内;配置值:代码编辑器样式,不限内容不限长度;启用状态开关:可以启用/禁用此项配置
可对配置模块、配置键、配置值、描述、启用状态进行配置。
用户管理是提供给管理员进行人员管理和用户角色管理的功能模块,可以进行新增用户和分配角色。
步骤 1:点击“系统管理”>“用户管理”>“人员管理”
步骤 2:人员管理列表展示用户角色、用户实名、用户分配的角色、更新时间、编辑操作。
步骤 3:列表支持”用户账号“、“用户实名”、“角色名”筛选。
步骤 1:点击“系统管理”>“用户管理”>“人员管理”>“新增用户”
步骤 2:填写“用户账号”、“用户实名”、“用户密码”这些必填参数,可以对此账号分配已经存在的角色。
步骤 1:点击“系统管理”>“用户管理”>“人员管理”>列表操作项“编辑”
步骤 2:用户账号不可编辑;可以编辑“用户实名”,修改“用户密码”,重新分配“用户角色“
步骤 1:点击“系统管理”>“用户管理”>“角色管理”
步骤 2:角色列表展示信息为“角色 ID”、“名称”、“描述”、“分配用户数”、“最后修改人”、“最后更新时间”、操作项“查看详情”、操作项”分配用户“
步骤 3:列表有筛选框,可对“角色名称”进行筛选
步骤 4:列表操作项,“查看详情”可查看到角色绑定的权限项,”分配用户“可对此项角色下绑定的用户进行增减
步骤 1:点击“系统管理”>“用户管理”>“角色管理”>“新增角色”
步骤 2:输入“角色名称”(角色名称只能由中英文大小写、数字、下划线_组成,长度限制在 3 ~ 128 字符)、“角色描述“(不能为空)、“分配权限“(至少需要分配一项权限),点击确认,新增角色成功添加到角色列表
步骤 1:点击“系统管理”>“审计日志“
步骤 2:审计日志包含所有对于系统的操作记录,操作记录列表展示信息为下
步骤 3:操作记录列表可以对“模块“、”操作对象“、“操作内容”、”操作时间“进行筛选
步骤 1:点击顶部导航栏“多集群管理”
步骤 2:多集群管理页面包含的信息为:”集群信息总览“、“集群列表”、“列表筛选项”、“接入集群”
步骤 3:集群列表筛选项为
步骤 4:每个卡片代表一个集群,其所展示的集群概览信息包括“健康分及健康检查项通过数”、“broker 数量”、“ZK 数量”、“版本号”、“BytesIn 均衡状态”、“BytesOut 均衡状态”、“Disk 均衡状态”、”Messages“、“MessageSize”、“BytesIn”、“BytesOut”、“接入时间”
步骤 1:点击“多集群管理”>“接入集群”
步骤 2:填写相关集群信息
步骤 1:点击“多集群管理”>鼠标悬浮集群卡片>点击卡片右上角“删除 icon”>打开“删除弹窗”
步骤 2:在删除弹窗中的“集群名称”输入框,输入所要删除集群的集群名称,点击“删除”,成功删除集群,解除平台的纳管关系(集群资源不会删除)
步骤 1:点击“多集群管理”>“集群卡片”>进入单集群管理界面
步骤 2:左侧导航栏
步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”
步骤 2:cluster 概览信息包括以下内容
步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”>“集群健康状态旁边 icon”>“健康度设置抽屉”
步骤 2:健康度设置抽屉展示出了检查项和其对应的权重,可以修改检查项的检查规则
步骤 3:检查规则可配置,分别为
步骤 4:设置完成后,点击“确认”,健康检查规则设置成功
步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”>“集群健康状态旁边【查看详情】”>“健康检查详情抽屉”
步骤 2:健康检查详情抽屉展示信息为:“检查模块”、“检查项”、“权重”、“得分”、“检查时间”、“检查结果是否通过”,若未通过会展示未通过的对象
步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”>“Cluster 名称旁边编辑 icon”>“编辑集群抽屉”
步骤 2:可编辑的信息包括“集群名称”、“Bootstrap Servers”、“Zookeeper”、“JMX Port”、“Maxconn(最大连接数)”、“Security(认证措施)”、“Version(版本号)”、“集群配置”、“集群描述”
步骤 3:点击“确定”,成功编辑集群信息
步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”>“指标筛选 icon”>“指标筛选抽屉”
步骤 2:指标筛选抽屉展示信息为以下几类“Health”、“Cluster”、“Broker”、“Consumer”、“Security”、“Job”
步骤 3:默认勾选比较重要的指标进行展示。根据需要选中/取消选中相应指标,点击”确认“,指标筛选成功,展示的图表随之变化
步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”>“时间选择下拉框”>“时间选择弹窗”
步骤 2:选择时间“最近 15 分钟”、“最近 1 小时”、“最近 6 小时”、“最近 12 小时”、“最近 1 天”,也可以自定义时间段范围
步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”>“历史变更记录”区域
步骤 2:历史变更记录区域展示了历史的配置变更,每条记录可展开收起。包含“配置对象”、“变更时间”、“变更内容”、“配置类型”
步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Load Rebalance”
步骤 2:Load Rebalance 概览信息包含“均衡状态卡片”、“Disk 信息卡片”、“BytesIn 信息卡片”、“BytesOut 信息卡片”、“Broker 均衡状态列表”
提供对集群的每个节点的 Disk、BytesIn、BytesOut 的规格进行设置的功能
步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Load Rebalance”>“State 卡片 icon“>”设置集群规格抽屉“
步骤 2:穿梭框左侧展示集群中的待选节点,穿梭框右侧展示已经选中的节点,选择自己所需设置规格的节点
步骤 3:设置“单机核数”、“单机磁盘”、“单机网络”,点击确定,完成设置
步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Load Rebalance”>“筛选列表”按钮>筛选弹窗
步骤 2:可选择“Disk”、“BytesIn”、“BytesOut”三种维度,其各自对应“已均衡”、“未均衡”两种状态,可以组合进行筛选
步骤 3:点击“确认”,执行筛选操作
步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Load Rebalance”>“立即均衡”按钮>“立即均衡抽屉”
步骤 2:配置均衡策略
步骤 3:配置运行参数
步骤 4:点击“预览计划”按钮,打开执行计划弹窗。可以看到计划概览信息、计划明细信息
步骤 5:点击“预览计划弹窗”的“执行文件”,可以下载 json 格式的执行文件
步骤 6:点击“预览计划弹窗”的“立即均衡”按钮,开始执行均衡任务
步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Load Rebalance”>“周期均衡”按钮>“周期均衡抽屉”
步骤 2:配置均衡策略
步骤 3:配置运行参数
步骤 4:点击“预览计划”按钮,打开执行计划弹窗。可以看到计划概览信息、计划明细信息
步骤 5:点击“预览计划弹窗”的“执行文件”,可以下载 json 格式的执行文件
步骤 6:点击“预览计划弹窗”的“立即均衡”按钮,开始执行均衡任务
步骤 1:点击“多集群管理”>“集群卡片”>“Broker”>“Overview”
步骤 2:Broker 概览信息包括以下内容
步骤 1:点击“多集群管理”>“集群卡片”>“Brokers”>“Broker ID”>“Configuration”TAB>“编辑”按钮
步骤 2:输入配置项的新配置内容
步骤 3:(选填)点击“应用于全部 Broker”,将此配置项的修改应用于全部的 Broker
步骤 4:点击“确认”,Broker 配置修改成功
步骤 1:点击“多集群管理”>“集群卡片”>“Brokers”>“Broker ID”>“Data Logs”TAB>“编辑”按钮
步骤 2:Broker DataLogs 列表展示的信息为“Folder”、“topic”、“Partition”、“Offset Lag”、“Size”
步骤 3:输入框输入”Topic Name“可以筛选结果
步骤 1:点击“多集群管理”>“集群卡片”>“Broker”>“Controller”
步骤 2:Controller 列表展示的信息为“Change Time”、“Broker ID”、“Broker Host”
步骤 3:输入框输入“Broker Host“可以筛选结果
步骤 4:点击 Broker ID 可以打开 Broker 详情,进行修改配置或者查看 DataLogs
步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Overview”
步骤 2:Topic 概览信息包括以下内容
步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Overview”>“集群健康状态旁边【查看详情】”>“健康检查详情抽屉”
步骤 2:健康检查详情抽屉展示信息为:“检查项”、“权重”、“得分”、“检查时间”、“检查结果是否通过”,若未通过会展示未通过的对象
步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”
步骤 2:Topic 列表展示内容为“TopicName”、“Partitions”、“Replications”、“健康分”、“BytesIn”、“BytesOut”、“MessageSize”、“保存时间”、“描述”、操作项”扩分区“、操作项”删除“
步骤 3:筛选框输入“TopicName”可以对列表进行筛选;点击“展示系统 Topic”开关,可以筛选系统 topic
步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“新增 Topic”按钮>“创建 Topic“抽屉
步骤 2:输入“Topic 名称(不能重复)”、“Topic 描述”、“分区数”、“副本数”、“数据保存时间”、“清理策略(删除或压缩)”
步骤 3:展开“更多配置”可以打开高级配置选项,根据自己需要输入相应配置参数
步骤 4:点击“确定”,创建 Topic 完成
步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“Topic 列表“>操作项”扩分区“>“扩分区”抽屉
步骤 2:扩分区抽屉展示内容为“流量的趋势图”、“当前分区数及支持的最低消息写入速率”、“扩分区后支持的最低消息写入速率”
步骤 3:输入所需的分区总数,自动计算出扩分区后支持的最低消息写入速率
步骤 4:点击确定,扩分区完成
步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“Topic 列表“>操作项”删除“>“删除 Topic”弹窗
步骤 2:输入“TopicName”进行二次确认
步骤 3:点击“删除”,删除 Topic 完成
步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“批量操作下拉“>“批量扩缩副本“>“批量扩缩容”抽屉
步骤 2:选择所需要进行扩缩容的 Topic,可多选,所选择的 Topic 出现在下方 Topic 列表中
步骤 3:Topic 列表展示 Topic“近三天平均流量”、“近三天峰值流量及时间”、“Partition 数”、”当前副本数“、“新副本数”
步骤 4:扩容时,选择目标节点,新增的副本会在选择的目标节点上;缩容时不需要选择目标节点,自动删除最后一个(或几个)副本
步骤 5:输入迁移任务配置参数,包含限流值和任务执行时间
步骤 6:输入任务描述
步骤 7:点击“确定”,执行 Topic 扩缩容任务
步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“批量操作下拉“>“批量迁移“>“批量迁移”抽屉
步骤 2:选择所需要进行迁移的 Topic,可多选,所选择的 Topic 出现在下方 Topic 列表中
步骤 3:选择所需要迁移的 partition 和迁移数据的时间范围
步骤 4:选择目标节点(节点数必须不小于最大副本数)
步骤 5:点击“预览任务计划”,打开“任务计划”二次抽屉,可对每个 partition 的目标 Broker ID 进行编辑,目标 broker 应该等于副本数
步骤 6:输入迁移任务配置参数,包含限流值和任务执行时间
步骤 7:输入任务描述
步骤 8:点击“确定”,执行 Topic 迁移任务
步骤 1:点击“多集群管理”>“集群卡片”>“Consumer”
步骤 2:Consumer 概览信息包括以下内容
步骤 3:输入“Consumer Group”、“Topic Name‘,可对列表进行筛选
步骤 4:点击列表“Consumer Group”名称,可以查看 Comsuer Group 详情
步骤 1:点击“多集群管理”>“集群卡片”>“Consumer”>“Consumer Group”名称>“Consumer Group 详情”抽屉
步骤 2:Consumer Group 详情有列表视图和图表视图
步骤 3:列表视图展示信息为 Consumer 列表,包含”Topic Partition“、”Member ID“、”Current Offset“、“Log End Offset”、”Lag“、”Host“、”Client ID“
步骤 1:点击“多集群管理”>“集群卡片”>“Consumer”>“Consumer Group”名称>“Consumer Group 详情”抽屉>“重置 Offset”按钮>“重置 Offset”抽屉
步骤 2:选择重置 Offset 的类型,可“重置到指定时间”或“重置分区”
步骤 3:重置到指定时间,可选择“最新 Offset”或“自定义时间”
步骤 4:重置分区,可选择 partition 和其重置的 offset
步骤 5:点击“确认”,重置 Offset 开始执行
步骤 1:点击“多集群管理”>“集群卡片”>“Testing”>“Produce”
步骤 2:生产配置
步骤 3:点击按钮【Run】,生产测试开始,可以从右侧看到生产测试的信息
步骤 1:点击“多集群管理”>“集群卡片”>“Testing”>“Consume”
步骤 2:消费配置
步骤 3:点击按钮【Run】,消费测试开始,可以在右边看到消费的明细信息
注意:只有在开启集群认证的情况下才能够使用 Security 功能
步骤 1:点击“多集群管理”>“集群卡片”>“Security”>“ACLs”
步骤 2:ACL 概览信息包括以下内容
步骤 1:点击“多集群管理”>“集群卡片”>“Security”>“Users”>“新增 ACL”
步骤 2:输入 ACL 配置参数
步骤 3:点击“确定”,新增 ACL 成功
步骤 1:点击“多集群管理”>“集群卡片”>“Security”>“ACLs”
步骤 2:User 列表展示内容包括“Kafka User 名称”、“认证方式”、“passwprd”、操作项”修改密码“、”操作项“删除”
步骤 3:筛选框输入“Kafka User”可筛选出列表中相关 Kafka User
步骤 1:点击“多集群管理”>“集群卡片”>“Security”>“Users”>“新增 Kafka User”
步骤 2:输入 Kafka User 名称、认证方式、密码
步骤 3:点击“确定”,新增 Kafka User 成功
步骤 1:点击“多集群管理”>“集群卡片”>“Job“
步骤 2:Job 概览信息包括以下内容
Doing 状态下的任务可以查看进度
步骤 1:点击“多集群管理”>“集群卡片”>“Job”>“Job”列表>操作项“查看进度”>“查看进度”抽屉
步骤 2:
Prepare 状态下的任务可以进行编辑
点击“多集群管理”>“集群卡片”>“Job”>“Job”列表>操作项“编辑”
对任务执行的参数进行重新配置
点击“确定”,编辑任务成功
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。