CaptureChangeMySQL

CaptureChangeMySQL Processor

类型全限定名：cn.org.acal.lynxus.cdc.mysql.processors.CaptureChangeMySQL

所属 Bundle：cn.org.acal.lynxus:lynxus-cdc-mysql-nar:2.11.8

描述

从 MySQL 数据库检索变更数据捕获 (CDC) 事件。CDC 事件包括 INSERT、UPDATE、DELETE 操作。

属性

下表中，加粗的属性为必填项；其余为可选项。表格同时标注默认值、是否支持表达式语言，以及是否为敏感属性（值会被加密）。

名称	默认值	可选值	描述
MySQL Nodes			与 MySQL 集群中的节点对应的主机名（和可选端口）条目的列表。条目应使用冒号（如果要指定端口）逗号分隔，如 host1:port,host2: 支持表达式语言：是（仅使用环境/系统变量求值）
MySQL Driver Class Name	`com.mysql.jdbc.Driver`		MySQL数据库驱动类的类名支持表达式语言：是（仅使用环境/系统变量求值）
MySQL Driver Locations			包含 MySQL 驱动程序 JAR 及其依赖项（如果有）的文件/文件夹和/或 URL 的逗号分隔列表。例如 '/var/tmp/mysql-connector-java-5.1.38-bin.jar' 支持表达式语言：是（仅使用环境/系统变量求值）
Username			访问MySQL集群的用户名支持表达式语言：是（仅使用环境/系统变量求值）
Password			访问MySQL集群的密码敏感属性：是支持表达式语言：是（仅使用环境/系统变量求值）
事件处理策略	`MAX_EVENTS_PER_FLOWFILE`	Max Events Per FlowFile — 此策略使每个 FlowFile 最多写入 'Number of Events Per FlowFile' 属性中指定的事件数。如果在写入指定数量的事件之前处理器被停止（或事件队列变空），较少数量的事件仍会在停止前作为一个 FlowFile 写入。 One Transaction Per FlowFile — 该策略导致事务中的每个事件（从 BEGIN 到 COMMIT）被写入 FlowFile	指定将事件写入 FlowFile 时使用的策略，例如 'Max Events Per FlowFile'
Events Per FlowFile	`1`		指定应写入单个 FlowFile 的事件数。如果处理器在写入指定数量的事件之前停止，事件仍将作为 FlowFile 写入支持表达式语言：是（仅使用环境/系统变量求值）
Server ID			连接到 MySQL 复制组的客户端实际上是一个简化的副本（服务器），服务器 ID 值在整个复制组中必须是唯一的（即与任何其他的不同支持表达式语言：是（仅使用环境/系统变量求值）
Database/Schema Name Pattern			用于匹配数据库（或模式，取决于您的 RDBMS 术语）与 CDC 事件列表的正则表达式。正则表达式必须匹配数据库名称，如其存储在 RDB
Table Name Pattern			用于匹配影响匹配表的 CDC 事件的正则表达式。正则表达式必须匹配表名，如其存储在数据库中。如果未设置此属性，则不会过滤
Max Wait Time	`30 seconds`		允许建立连接的最长时间，零意味着实际上没有限制。支持表达式语言：是（仅使用环境/系统变量求值）
检索所有记录	`true`	true false	指定是否获取所有可用的 CDC 事件，无论当前 binlog 文件名和/或位置如何。如果 binlog 文件名和位置值存在于处理器的状态中，则此属性的值将被忽略。这允许 4 种不同的配置：1）如果处理器状态中有 binlog 数据，则使用该数据确定起始位置，并忽略“检索所有记录”的值。2）如果处理器状态中没有 binlog 数据，则“检索所有记录”设置为 true表示从 binlog 历史的开头开始。3）如果处理器状态中没有 binlog 数据且未设置初始 binlog 文件名/位置，则“检索所有记录”设置为 false 表示从 binlog 历史的末尾开始。4）如果处理器状态中没有 binlog 数据且已设置初始 binlog 文件名/位置，则“检索所有记录”设置为 false 表示从指定的初始 binlog 文件/位置开始。要重置行为，请清除处理器状态（请参阅处理器文档的状态管理部分）。
Include Begin/Commit Events	`false`	true false	指定是否发出与二进制日志中的 BEGIN 或 COMMIT 事件对应的事件。如果下游流中需要 BEGIN/COMMIT 事件，则设置为 true，否则设置为 false，这
Include DDL Events	`false`	true false	指定是否发出与数据定义语言（DDL）事件（如 ALTER TABLE、TRUNCATE TABLE 等）对应的事件，例如在二进制日志中。如果 DDL 事件是期望的/必要的，则设置为 true
Initial Sequence ID			指定一个初始序列标识符，如果此处理器的状态没有当前序列标识符则使用。如果处理器状态中存在序列标识符，则忽略此属性支持表达式语言：是（仅使用环境/系统变量求值）
Initial Binlog Filename			指定一个初始 binlog 文件名，如果此处理器的状态没有当前 binlog 文件名则使用。如果处理器状态中存在文件名或「Use GTID」属性设置为 fals 支持表达式语言：是（仅使用环境/系统变量求值）
Initial Binlog Position			指定一个初始偏移量到 binlog 中（由初始 binlog 文件名指定），如果此处理器的状态没有当前 binlog 文件名则使用。如果处理器状态中存在文件名或支持表达式语言：是（仅使用环境/系统变量求值）
Use Binlog GTID	`false`	true false	指定是否使用全局事务标识符（GTID）进行 binlog 跟踪。如果设置为 true，处理器的 binlog 文件名和位置状态将被忽略。使用 GTID 的主要优点是拥有更
Initial Binlog GTID			指定一个初始 GTID，如果此处理器的状态没有当前 GTID 则使用。如果处理器状态中存在 GTID 或「Use GTID」属性设置为 false，则忽略此属性支持表达式语言：是（仅使用环境/系统变量求值）
SSL Mode	`DISABLED`	DISABLED — 不使用 TLS 连接 PREFERRED — 当服务器支持启用时使用 TLS 连接，否则不使用 TLS 连接 REQUIRED — 当服务器支持未启用时，使用 TLS 连接或失败 VERIFY_IDENTITY — 当服务器支持未启用时，使用 TLS 连接或失败。验证服务器主机名与提供的 X.509 证书名称是否匹配，不匹配时则失败	配置 SSL 上下文服务支持证书验证选项时使用的 SSL 模式
SSL Context Service		控制器服务 API： `SSLContextService` cn.org.acal.lynxus-lynxus-standard-services-api-nar-2.11.8	支持加密套接字通信的 SSL 上下文服务

关系 (Relationships)

名称	描述	自动终止
`success`	已成功从 SQL 查询结果集创建 FlowFile。	否

写入的 FlowFile 属性

名称	描述
`cdc.sequence.id`	序列标识符（即严格递增的整数值），指定 CDC 事件流文件相对于其他事件流文件的顺序。
`cdc.event.type`	指示发生的 CDC 事件类型的字符串，包括（但不限于）'begin'、'insert'、'update'、'delete'
`mime.type`	处理器以 JSON 格式输出流文件内容，并将 mime.type 属性设置为 application/json

状态管理

作用域	描述
CLUSTER	此处理器存储指向数据库中当前 CDC 事件的'指针'等信息，以便在重新启动时可以从同一位置继续。

受限 (Restricted)

该组件不受限。

输入要求

该组件不允许有传入连接。