MySQL
Airbyte 的认证 MySQL 连接器提供以下功能
- 多种保持数据新鲜的方法,包括使用 变更数据捕获 (CDC) 使用 binlog。
- 所有可用的 同步模式,提供数据传递到目标位置的灵活性。
- 通过 检查点 和数据库读取分块,可靠地复制任何大小的表。
以下内容包括“快速入门”指南、高级设置步骤和参考信息(数据类型映射和变更日志)。
请注意,运行 source-mysql 3.4.0 的最低所需平台版本为 v0.58.0。
快速入门
以下是配置 MySQL 连接器的最低必要步骤
- 创建一个专用的只读 MySQL 用户,具有复制数据的权限
- 在 Airbyte UI 中使用 CDC 逻辑复制创建一个新的 MySQL 来源
- (Airbyte Cloud 仅限) 允许来自 Airbyte IP 的入站流量
完成此操作后,您将能够选择 MySQL 作为复制数据的来源。
步骤 1:创建一个专用的只读 MySQL 用户
这些步骤创建一个专用的只读用户来复制数据。或者,您可以使用数据库中现有的 MySQL 用户。
以下命令将创建一个新用户
CREATE USER <user_name> IDENTIFIED BY 'your_password_here';
现在,为该用户提供对相关模式和表的只读访问权限
GRANT SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO <user_name>;
如果选择使用 STANDARD 复制方法(不推荐),则只需要 SELECT 权限。
步骤 2:在 MySQL 服务器上启用二进制日志
您必须为使用 CDC 的 MySQL 复制启用二进制日志。大多数云提供商(AWS、GCP 等)提供一键启用源 MySQL 数据库中 binlog 的简便选项。
如果您自行管理 MySQL 服务器,请使用以下属性配置 MySQL 服务器配置文件
配置 MySQL 服务器配置文件以启用 binlog
server-id = 223344
log_bin = mysql-bin
binlog_format = ROW
binlog_row_image = FULL
binlog_expire_logs_seconds = 864000
RDS 不使用 binlog_expire_logs_seconds。相反,它使用名为 binlog retention hours 的参数,默认值为 0(表示立即删除二进制日志)。您需要使用 AWS 文档 中描述的 RDS 特定过程来增加此值。
- server-id:
server-id的值必须是 MySQL 集群中每个服务器和复制客户端的唯一值。server-id应该是一个非零值。如果server-id已经设置为非零值,则无需进行任何更改。您可以将server-id设置为 1 到 4294967295 之间的任何值。有关更多信息,请参阅 mysql 文档 - log_bin:
log_bin的值是二进制日志文件序列的基本名称。如果log_bin已经设置,则无需进行任何更改。有关更多信息,请参阅 mysql 文档 - binlog_format:
binlog_format必须设置为ROW。有关更多信息,请参阅 mysql 文档 - binlog_row_image:
binlog_row_image必须设置为FULL。它确定如何将行图像写入二进制日志。有关更多信息,请参阅 mysql 文档 - binlog_expire_logs_seconds:这是自动二进制日志文件删除的秒数。我们建议 864000 秒(10 天),以便在同步失败或同步暂停的情况下,我们仍然有一定带宽从增量同步的最后一点开始。我们还建议对 CDC 进行频繁的同步。
步骤 3:在 Airbyte UI 中创建一个新的 MySQL 来源
从您的 Airbyte Cloud 或 Airbyte 开源帐户,从左侧导航栏中选择 Sources,搜索 MySQL,然后创建一个新的 MySQL 来源。
填写所需信息
- 输入 MySQL 数据库的主机名、端口号和名称。
- 请输入在步骤 1 中创建的用户名和密码。
- 选择一个 SSL 模式。您通常会选择
require或verify-ca。这两种模式都始终需要加密。verify-ca还要求来自您的 MySQL 数据库的证书。请参阅 此处 了解有关其他 SSL 模式和 SSH 隧道的信息。 - 从可用的复制方法中选择
使用二进制日志 (CDC) 读取更改。
步骤 4:(仅限 Airbyte Cloud)允许来自 Airbyte IP 的入站流量
如果您使用的是 Airbyte Cloud,则始终需要修改您的数据库配置以允许来自 Airbyte IP 的入站流量。您可以在我们的 Airbyte 安全文档 中找到需要列入白名单的所有 IP 的列表。
现在,在 Airbyte UI 中单击 设置源。Airbyte 现在将测试连接到您的数据库。一旦成功,您就配置了一个 Airbyte MySQL 源!
MySQL 复制模式
变更数据捕获 (CDC)
Airbyte 使用 MySQL binlog 的逻辑复制来增量捕获删除,以及新的和更新的记录。要了解 Airbyte 如何实现 CDC,请参阅 变更数据捕获 (CDC)。我们通常建议尽可能使用 CDC 配置您的 MySQL 源,因为它提供
- 删除记录(如果需要)。
- 可扩展到大型表(1 TB 及以上)的复制。
- 一个可靠的游标,不依赖于您的数据特性。例如,如果您的表有一个主键,但没有一个合理的游标字段用于增量同步(例如
updated_at),CDC 允许您增量同步您的表。
标准
Airbyte 提供使用源表中可用的自定义游标进行增量复制(例如 updated_at)。我们通常不建议使用此复制方法,但它适用于以下情况
- 您的 MySQL 服务器未公开 binlog。
- 您的数据集很小,并且只想在目标位置获取表的快照。
通过 SSL 或 SSH 隧道连接
SSL 模式
Airbyte Cloud 默认使用 required SSL 模式。在使用 Airbyte Cloud 时,不允许 disable SSL。
以下是可用 SSL 连接模式的细分
required始终需要加密。注意:如果源不支持加密,则连接将失败。preferred仅在源不支持加密时才允许未加密的通信verify_ca始终需要加密并验证源是否具有有效的 SSL 证书verify_identity始终需要加密并验证源的身份disabled禁用 Airbyte 和源之间的加密通信allow仅在源需要时才启用加密通信
通过 SSH 隧道连接
您可以通过 SSH 隧道连接到 MySQL 服务器。
在使用 SSH 隧道时,您正在配置 Airbyte 连接到具有直接访问数据库权限的中间服务器(也称为 bastion 或跳跃服务器)。Airbyte 连接到 bastion,然后要求 bastion 直接连接到服务器。
要通过 SSH 隧道连接到 MySQL 服务器
- 在设置 MySQL 源连接器时,从 SSH 隧道下拉菜单中选择
- SSH 密钥身份验证以使用私钥作为您的密钥来建立 SSH 隧道
- 密码身份验证以使用密码作为您的密钥来建立 SSH 隧道
- 对于 SSH 隧道跳跃服务器主机,请输入用于 Airbyte 连接的中间 (bastion) 服务器的主机名或 IP 地址。
- 对于 SSH 连接端口,请输入 bastion 服务器上的端口。SSH 连接的默认端口是 22。
- 对于 SSH 登录用户名,请输入连接到 bastion 服务器时使用的用户名。注意: 这是操作系统用户名,而不是 MySQL 用户名。
- 对于身份验证
- 如果您选择了 SSH 密钥身份验证,请将 SSH 私钥 设置为用于创建 SSH 连接的 私钥。
- 如果您选择了 密码身份验证,请输入用于连接到 bastion 服务器的操作系统用户的密码。注意: 这是操作系统密码,而不是 MySQL 密码。
生成用于 SSH 隧道的私钥
连接器需要 PEM 格式的 RSA 密钥。要生成此密钥
ssh-keygen -t rsa -m PEM -f myuser_rsa
这将在 pem 格式中生成私钥,并且公钥将保留在 bastion 主机上用于 authorized_keys 文件的标准格式中。应将公钥添加到 bastion 主机,以用于您希望与 Airbyte 一起使用的用户。私钥通过复制粘贴提供给 Airbyte 连接器配置屏幕,因此它可能会登录到 bastion。
限制和故障排除
要查看连接器限制,或排除 MySQL 连接器故障,请参阅更多 在我们的 MySQL 故障排除指南中。
数据类型映射
同步数据时,MySQL 数据类型映射到以下数据类型。您可以在 此处 检查测试示例值。如果您找不到您正在查找的数据类型,请随时添加新的测试。如果您在此列表中看不到类型,请假定它被强制转换为字符串。我们欢迎对首选映射提出反馈。
支持任何数据库或表编码组合的 charset 和 collation。但是,charset 设置不会被传递到目标位置,数据将使用目标位置配置的 charset 进行编码。请注意,字节数组尚未支持。
MySQL 数据类型映射
| MySQL 类型 | 结果类型 | 备注 |
|---|---|---|
bit(1) | 布尔值 | |
bit(>1) | base64 二进制字符串 | |
布尔值 | 布尔值 | |
tinyint(1) | 布尔值 | |
tinyint(>1) | 整数 | |
tinyint(>=1) 无符号 | 整数 | |
smallint | 整数 | |
mediumint | 整数 | |
int | 整数 | |
bigint | 整数 | |
浮点数 | 数字 | |
双精度浮点数 | 数字 | |
十进制 | 数字 | |
二进制 | 字符串 | |
blob | 字符串 | |
日期 | 字符串 | ISO 8601 日期字符串。ZERO-DATE 值将转换为 NULL。如果列是必需的,则转换为 EPOCH。 |
datetime, timestamp | 字符串 | ISO 8601 日期时间字符串。ZERO-DATE 值将转换为 NULL。如果列是必需的,则转换为 EPOCH。 |
时间 | 字符串 | ISO 8601 时间字符串。值在 00:00:00 和 23:59:59 之间。 |
年份 | 整数 | 文档 |
char, varchar 具有非二进制 charset | 字符串 | |
tinyblob | base64 二进制字符串 | |
blob | base64 二进制字符串 | |
mediumblob | base64 二进制字符串 | |
longblob | base64 二进制字符串 | |
二进制 | base64 二进制字符串 | |
varbinary | base64 二进制字符串 | |
tinytext | 字符串 | |
文本 | 字符串 | |
mediumtext | 字符串 | |
longtext | 字符串 | |
json | 序列化的 json 字符串 | 例如:{"a": 10, "b": 15} |
enum | 字符串 | |
set | 字符串 | 例如:blue,green,yellow |
geometry | base64 二进制字符串 |
参考
配置字段参考
变更日志
展开以查看
| 版本 | 日期 | 拉取请求 | 主题 |
|---|---|---|---|
| 3.51.5 | 2025-11-14 | 69228 | 添加表过滤 |
| 3.51.4 | 2025-11-12 | 69284 | 改进 CDC 关闭以防止高速度表中的记录丢失 |
| 3.51.3 | 2025-11-05 | 69177 | 修复 CDC 快照查询中的一个错误,导致在某些情况下省略第一条记录。 |
| 3.51.2 | 2025-11-04 | 69104 | 为具有 GUID 字符串主键的表提供更好的分区。 |
| 3.51.1 | 2025-10-28 | 68652 | 将 CDK 版本升级到最新版本,以解决 CDC 模式下数据库视图的问题。 |
| 3.51.0 | 2025-09-24 | 66515 | 升级到最新的 CDK,以改进套接字模式下的 Protobuf 编码。 |
| 3.50.9 | 2025-09-24 | 66515 | 修复 CDC 装饰字段编码到 Protobuf |
| 3.50.8 | 2025-09-24 | 66515 | 修复分区创建中分割边界产生零时除以零的错误。 |
| 3.50.7 | 2025-09-11 | 66179 | 升级到最新的 CDK,修复某些列类型的 protobuf 编码 |
| 3.50.6 | 2025-08-13 | 64569 | 将数据库版本日志记录从连接器移动到新的 CDK 版本 |
| 3.50.5 | 2025-07-30 | 63377 | 速度模式下的全局状态兼容性 |
| 3.50.4 | 2025-07-31 | 64134 | 记录 mysql 的数据库版本 |
| 3.50.3 | 2025-07-18 | 63349 | 使并发级别与速度模式下的套接字数量匹配 |
| 3.50.2 | 2025-07-17 | 62932 | CDC 修复 |
| 3.50.1-rc.1 | 2025-07-08 | 62862 | 准备启用速度改进 |
| 3.50.0 | 2025-07-08 | 62863 | 将发布候选版本 3.50.0-rc.1 提升到主版本。 |
| 3.50.0-rc.1 | 2025-07-08 | 60993 | 准备启用速度改进 |
| 3.12.0 | 2025-06-26 | 60993 | 加速模式 |
| 3.11.21 | 2025-05-30 | 61014 | 修复合并错误。指向已发布的 CDK |
| 3.11.20 | 2025-05-29 | 60218 | 测试并发读取。 |
| 3.11.19 | 2025-05-11 | 60214 | 迁移到新的 Gradle 流。 |
| 3.11.18 | 2025-05-02 | 59732 | 修复导致同步在某些情况下进入循环的错误。 |
| 3.11.17 | 2025-05-02 | 59683 | CDK 版本升级。 |
| 3.11.16 | 2025-05-02 | 59223 | 改进处理大整数和十进制值,防止其以科学计数法表示 |
| 3.11.15 | 2025-04-29 | 59150 | 减轻游标状态以科学计数法序列化的问题 |
| 3.11.14 | 2025-04-29 | 59144 | 更新默认 SSL 模式。 |
| 3.11.13 | 2025-04-24 | 58646 | 修复依赖项中的漏洞。 |
| 3.11.12 | 2025-04-18 | 58132 | 修复依赖项中的漏洞。 |
| 3.11.11 | 2025-04-23 | 58623 | 升级 CDK 版本到最新的已发布版本 |
| 3.11.10 | 2025-04-22 | 58599 | 延长 debezium 关闭超时时间,以允许引擎正常关闭 |
| 3.11.9 | 2025-03-14 | 55731 | 为 CDC 的额外检查中的变量提供更有意义的错误 |
| 3.11.8 | 2025-03-14 | 55761 | 不要为 source-mysql 执行复杂采样 |
| 3.11.7 | 2025-03-12 | 55734 | 在启动时公开 debezium 属性的附加流上下文 |
| 3.11.6 | 2025-03-06 | 55237 | 修复大于等于 8.4 版本的 binlog 状态获取 |
| 3.11.5 | 2025-03-06 | 55234 | 更新认证的 DB 源连接器的基本镜像版本 |
| 3.11.4 | 2025-03-06 | 55214 | 更新默认加密方法为“required”。 |
| 3.11.3 | 2025-02-24 | 54156 | 改进错误处理。 |
| 3.11.2 | 2025-02-06 | 53195 | 修复 CDC 配置中的错别字。 |
| 3.11.1 | 2025-01-30 | 52039 | 采用 Bulk CDK 的最新 API 变更。 |
| 3.11.0 | 2025-01-14 | 51545 | 将发布候选版本 3.11.0-rc.1 提升至主版本。 |
| 3.11.0-rc.1 | 2025-01-09 | 51029 | 修复从旧版 mysql 源升级时不需要的模式变更。 |
| 3.10.1 | 2025-01-10 | 51510 | 使用非 root 基础镜像 |
| 3.10.0 | 2025-01-09 | 51008 | 将发布候选版本 3.10.0-rc.9 提升至主版本。 |
| 3.10.0-rc.9 | 2025-01-08 | 50987 | 增加 Debezium 关闭超时时间。 |
| 3.10.0-rc.8 | 2025-01-07 | 50965 | 修复 3.10.0-rc.3 中引入的错误。 |
| 3.10.0-rc.7 | 2024-12-27 | 50437 | 兼容 MySQL 视图。 |
| 3.10.0-rc.6 | 2024-12-18 | 49892 | 使用基础镜像:airbyte/java-connector-base:1.0.0 |
| 3.10.0-rc.5 | 2025-01-03 | 50868 | 修复异常处理规则声明。 |
| 3.10.0-rc.4 | 2024-12-23 | 48587 | 修复次要的状态计数机制。 |
| 3.10.0-rc.3 | 2024-12-20 | 49918 | 修复次要的数据类型处理和转换错误,保持大数字精度。 |
| 3.10.0-rc.2 | 2024-12-20 | 49950 | 移除未使用的配置字段,简化 SSL 证书密钥存储逻辑。 |
| 3.10.0-rc.1 | 2024-12-20 | 49948 | 将 Bulk CDK 版本固定到 231,采用必要的变更。 |
| 3.9.4 | 2024-12-18 | 49939 | 将 Bulk CDK 版本固定到 226,重命名类。 |
| 3.9.3 | 2024-12-18 | 49932 | 与包含时区偏移的 timestamp 的已保存状态的向后兼容性。 |
| 3.9.2 | 2024-12-16 | 49830 | 修复自动生成的 tinyint 列的问题 |
| 3.9.1 | 2024-12-12 | 49456 | 版本升级至重新发布 |
| 3.9.0 | 2024-12-12 | 49423 | 将发布候选版本 3.9.0-rc.27 提升至主版本。 |
| 3.9.0-rc | 2024-11-05 | 48369 | 渐进式推广测试。 |
| 3.7.3 | 2024-09-17 | 45639 | 采用最新的 CDK 以使用最新的 apache sshd mina 来处理 tcpkeepalive 请求。 |
| 3.7.2 | 2024-09-05 | 45181 | 修复错误地分类可恢复/不可恢复的全量刷新流。 |
| 3.7.1 | 2024-08-27 | 44841 | 采用最新的 CDK。 |
| 3.7.0 | 2024-08-13 | 44013 | 升级到 Debezium 2.7.1.Final |
| 3.6.9 | 2024-08-08 | 43410 | 采用最新的 CDK。 |
| 3.6.8 | 2024-07-30 | 42869 | 采用最新的 CDK。 |
| 3.6.7 | 2024-07-30 | 42550 | 正确报告流状态。 |
| 3.6.6 | 2024-07-29 | 42852 | 将 CDK 版本升级到最新版本,以使用错误翻译的新错误修复。 |
| 3.6.5 | 2024-07-24 | 42417 | 处理 ConnectorExceptionHandler 中的空错误消息。 |
| 3.6.4 | 2024-07-23 | 42421 | 移除最终的瞬态错误发射器迭代器。 |
| 3.6.3 | 2024-07-22 | 42024 | 修复从失败的尝试恢复时出现的 NPE 错误。 |
| 3.6.2 | 2024-07-17 | 42087 | 为 MySql 源添加更多错误翻译。 |
| 3.6.1 | 2024-07-19 | 42122 | 改进 wass 错误消息 + 日志记录。 |
| 3.6.0 | 2024-07-17 | 40208 | 开始使用新的错误 MySql 源错误处理程序,该程序带有新的错误翻译层。 |
| 3.5.1 | 2024-07-17 | 42043 | 采用最新的 CDK + 修复。 |
| 3.5.0 | 2024-07-11 | 38240 | 实现 WASS。 |
| 3.4.12 | 2024-07-01 | 40516 | 移除 dbz 心跳。 |
| 3.4.11 | 2024-06-26 | 40561 | 支持 PlanetScale MySQL 的每查询行限制。 |
| 3.4.10 | 2024-06-14 | 39349 | 全量刷新流发送内部计数元数据。 |
| 3.4.9 | 2024-06-11 | 39405 | 采用最新的 CDK。 |
| 3.4.8 | 2024-06-05 | 39144 | 升级 Debezium 到 2.5.4 |
| 3.4.7 | 2024-05-29 | 38584 | 在 discover 中设置 is_resumable 标志。 |
| 3.4.6 | 2024-05-29 | 38538 | 遇到配置错误时退出连接器。 |
| 3.4.5 | 2024-05-23 | 38198 | 同步发送跟踪状态消息,指示进度。 |
| 3.4.4 | 2024-05-15 | 38208 | 在状态消息中禁用全量刷新流中的计数。 |
| 3.4.3 | 2024-05-13 | 38104 | 处理瞬态错误消息。 |
| 3.4.2 | 2024-05-07 | 38046 | 可恢复的刷新应该仅在定义了源主键的情况下运行。 |
| 3.4.1 | 2024-05-03 | 37824 | 修复了可恢复的全量刷新中基于游标的源抛出 NPE 的错误。 |
| 3.4.0 | 2024-05-02 | 36932 | 可恢复的全量刷新。请注意,请升级您的平台 - 最低平台版本为 0.58.0。 |
| 3.3.25 | 2024-05-02 | 37781 | 采用最新的 CDK。 |
| 3.3.24 | 2024-05-01 | 37742 | 采用最新的 CDK。移除 Debezium 重试。 |
| 3.3.23 | 2024-04-23 | 37507 | 当用户从 CDC 切换到非 CDC 模式时,提供更好的错误信息。 |
| 3.3.22 | 2024-04-22 | 37541 | 采用最新的 CDK。减少过多的日志记录。 |
| 3.3.21 | 2024-04-22 | 37476 | 采用最新的 CDK。 |
| 3.3.20 | 2024-04-16 | 37111 | 填充记录消息中的空值。 |
| 3.3.19 | 2024-04-15 | 37328 | 填充 airbyte_meta.changes |
| 3.3.18 | 2024-04-15 | 37324 | 重构源操作。 |
| 3.3.17 | 2024-04-10 | 36919 | 修复空值转换中的错误。 |
| 3.3.16 | 2024-04-05 | 36872 | 更新连接器的元数据定义。 |
| 3.3.15 | 2024-04-05 | 36577 | 配置错误不会发送系统跟踪消息 |
| 3.3.14 | 2024-04-04 | 36742 | 使用新的 kotlin CDK |
| 3.3.13 | 2024-02-29 | 35529 | 重构状态迭代器消息。 |
| 3.3.12 | 2024-02-27 | 35675 | 修复无效的 cdc 错误消息。 |
| 3.3.11 | 2024-02-23 | 35527 | 采用 0.23.1 并设置关闭超时时间。 |
| 3.3.10 | 2024-02-22 | 35569 | 修复日志错误。 |
| 3.3.9 | 2024-02-21 | 35338 | 采用 0.21.4 并将 cdc 状态压缩阈值降低到 1MB。 |
| 3.3.8 | 2024-02-20 | 35338 | 添加配置以在无效的 CDC 位置时抛出错误。 |
| 3.3.7 | 2024-02-13 | 34751 | 为无效的 CDC 游标发出分析消息。 |
| 3.3.6 | 2024-02-13 | 34573 | 当底层流失败时,不要在 SourceStateIterator 中发出状态。 |
| 3.3.5 | 2024-02-12 | 34580 | 支持数据库名称中的特殊字符 |
| 3.3.4 | 2024-02-08 | 34750 | 采用 CDK 0.19.0 |
| 3.3.3 | 2024-01-26 | 34573 | 采用 CDK v0.16.0。 |
| 3.3.2 | 2024-01-08 | 33005 | 在 AirbyteStateMessage 中添加增量同步的计数统计信息 |
| 3.3.1 | 2024-01-03 | 33312 | 在 AirbyteStateMessage 中添加计数统计信息 |
| 3.3.0 | 2023-12-19 | 33436 | 移除 LEGACY 状态标志 |
| 3.2.4 | 2023-12-12 | 33210 | 支持更好的调试工具。 |
| 3.2.3 | 2023-12-08 | 33210 | 更新 MySQL 驱动程序属性值以处理零日期。 |
| 3.2.2 | 2023-12-06 | 33082 | 改进 MySQL 模式快照错误处理。 |
| 3.2.1 | 2023-11-28 | 32610 | 支持使用二进制作为主键的初始同步。 |
| 3.2.0 | 2023-11-29 | 31062 | 强制在 Airbyte Cloud 上使用 SSL |
| 3.1.9 | 2023-11-27 | 32662 | 将初始设置时间应用于 debezium 引擎预热时间。 |
| 3.1.8 | 2023-11-22 | 32656 | 采用 java CDK 版本 0.5.0。 |
| 3.1.7 | 2023-11-08 | 32125 | 修复编译警告 |
| 3.1.6 | 2023-11-06 | 32193 | 采用 java CDK 版本 0.4.1。 |
| 3.1.5 | 2023-10-31 | 32024 | 升级到 Debezium 版本 2.4.0。 |
| 3.1.4 | 2023-10-30 | 31960 | 采用 java CDK 版本 0.2.0。 |
| 3.1.3 | 2023-10-11 | 31322 | 更正之前的发布 |
| 3.1.2 | 2023-09-29 | 30806 | 将日志行长度限制为 32KB,以防止记录丢失 |
| 3.1.1 | 2023-09-26 | 30744 | 更新 MySQL JDBC 连接配置以保持默认的自动提交行为 |
| 3.1.0 | 2023-09-21 | 30270 | 增强的标准同步,通过主键进行初始加载,并切换到游标进行增量同步 |
| 3.0.9 | 2023-09-20 | 30620 | Airbyte 认证的 MySQL 源连接器 |
| 3.0.8 | 2023-09-14 | 30333 | CDC:更新传递给 Debezium 的正确的时区参数到 database.connectionTimezone |
| 3.0.7 | 2023-09-13 | 30375 | 修复包含在同步中的 DB 视图时导致失败的错误 |
| 3.0.6 | 2023-09-12 | 30308 | CDC:启用状态中模式历史记录 blob 的压缩 |
| 3.0.5 | 2023-09-12 | 30289 | CDC:引入状态中模式历史记录 blob 压缩的逻辑 |
| 3.0.4 | 2023-09-06 | 30213 | CDC:可检查点的初始快照 |
| 3.0.3 | 2023-08-31 | 29821 | 将 replication_method display_type 设置为 radio |
| 3.0.2 | 2023-08-30 | 30015 | 日志记录:记录同步中与表关联的存储引擎 |
| 3.0.1 | 2023-08-21 | 29308 | CDC:在增量运行期间启用频繁的状态发出 |
| 3.0.0 | 2023-08-08 | 28756 | CDC:设置默认游标 |
| 2.1.2 | 2023-08-08 | 29220 | 添加指示 CDC 是推荐的更新方法的指示器 |
| 2.1.1 | 2023-07-31 | 28882 | 改进复制方法标签和描述 |
| 2.1.0 | 2023-06-26 | 27737 | 许可证更新:Elv2 |
| 2.0.25 | 2023-06-20 | 27212 | 修复 StreamingJdbcDatabase 中的静默异常吞噬 |
| 2.0.24 | 2023-05-25 | 26473 | CDC:限制队列大小 |
| 2.0.23 | 2023-05-24 | 25586 | 不需要对使用二进制排序的数据库中的字符串进行 base64 编码 |
| 2.0.22 | 2023-05-22 | 25859 | 允许添加 sessionVariables JDBC 参数 |
| 2.0.21 | 2023-05-10 | 25460 | 处理小数点为 0 的小数作为整数 |
| 2.0.20 | 2023-05-01 | 25740 | 禁用索引日志记录 |
| 2.0.19 | 2023-04-26 | 25401 | CDC:升级 Debezium 到版本 2.2.0 |
| 2.0.18 | 2023-04-19 | 25345 | 日志记录:记录每个流的数据库索引 |
| 2.0.17 | 2023-04-19 | 24582 | CDC:重构以提高性能 |
| 2.0.16 | 2023-04-17 | 25220 | 日志记录变更:记录其他元数据 & 清理嘈杂的日志 |
| 2.0.15 | 2023-04-12 | 25131 | 始终显示客户端证书和客户端密钥 |
| 2.0.14 | 2023-04-11 | 24656 | CDC 次要重构 |
| 2.0.13 | 2023-04-06 | 24820 | 修复在初始失败的非 CDC 增量同步期间的数据丢失错误 |
| 2.0.12 | 2023-04-04 | 24833 | 修复 Debezium 重试策略配置 |
| 2.0.11 | 2023-03-28 | 24166 | 修复 Debezium 关闭期间的 InterruptedException 错误 |
| 2.0.10 | 2023-03-27 | 24373 | 为 CDC 检查点准备连接器 |
| 2.0.9 | 2023-03-24 | 24529 | 在严格加密变体中将 SSL 模式设置为 required |
| 2.0.8 | 2023-03-22 | 20760 | 移除冗余的日期时间数据类型格式化 |
| 2.0.7 | 2023-03-21 | 24207 | 修复 CDC 模式下的不正确的模式变更警告 |
| 2.0.6 | 2023-03-21 | 23984 | 支持 CDC 心跳 |
| 2.0.5 | 2023-03-21 | 24275 | 修复 CDC 检查点错误 |
| 2.0.4 | 2023-03-20 | 24147 | 支持 "DESCRIBE" 查询期间不同的表结构 |
| 2.0.3 | 2023-03-15 | 24082 | 修复游标值验证期间的 NPE |
| 2.0.2 | 2023-03-14 | 23908 | 记录空游标值的警告 |
| 2.0.1 | 2023-03-10 | 23939 | 为了网络隔离,源连接器接受一个允许连接的主机列表 |
| 2.0.0 | 2023-03-06 | 23112 | 升级 Debezium 版本到 2.1.2 |
| 1.0.21 | 2023-01-25 | 20939 | 调整数据库的批量选择内存限制。 |
| 1.0.20 | 2023-01-24 | 20593 | 处理 ssh 超时异常 |
| 1.0.19 | 2022-12-14 | 20346 | 整合 JDBC 源的日期/时间值映射 |
| 1.0.18 | 2022-12-14 | 20378 | 改进描述 |
| 1.0.17 | 2022-12-13 | 20289 | 将未知的列异常标记为配置错误 |
| 1.0.16 | 2022-12-12 | 18959 | CDC:如果快照未完成,则不要超时。 |
| 1.0.15 | 2022-12-06 | 20000 | 添加检查和更好的消息,当用户没有权限访问 CDC 模式下的二进制日志时 |
| 1.0.14 | 2022-11-22 | 19514 | 调整数据库的批量选择内存限制。 |
| 1.0.13 | 2022-11-14 | 18956 | 清理 Tinyint Unsigned 数据类型识别 |
| 1.0.12 | 2022-11-07 | 19025 | 停止强制 SSL 如果 ssl 模式被禁用 |
| 1.0.11 | 2022-11-03 | 18851 | 修复未加密的 CDC 连接错误 |
| 1.0.10 | 2022-11-02 | 18619 | 修复处理 Tinyint(1) Unsigned 值作为布尔值时的错误 |
| 1.0.9 | 2022-10-31 | 18538 | 编码数据库名称 |
| 1.0.8 | 2022-10-25 | 18383 | 更好的 SSH 错误处理 + 消息 |
| 1.0.7 | 2022-10-21 | 18263 | 修复 15833 中引入的错误,并为目标中的 SSH 隧道添加更好的错误消息 |
| 1.0.6 | 2022-10-19 | 18087 | 更好的配置错误消息(SSH 配置,选择无效的游标) |
| 1.0.5 | 2022-10-17 | 18041 | 修复 2022-09-12 在 SshTunnel 中引入的错误,正确处理迭代器异常 |
| 2022-10-13 | 15535 | 更新增量查询以避免在非 CDC 增量模式下同步开始时同时插入新数据时丢失数据 | |
| 1.0.4 | 2022-10-11 | 17815 | 公开设置 CDC 同步的服务器时区 |
| 1.0.3 | 2022-10-07 | 17236 | 修复大型表问题,通过获取大小 |
| 1.0.2 | 2022-10-03 | 17170 | 使初始 CDC 等待时间可配置 |
| 1.0.1 | 2022-10-01 | 17459 | 将 debezium 版本从 1.9.2 升级到 1.9.6 |
| 1.0.0 | 2022-09-27 | 17164 | 将 MySQL 源认证为 Beta |
| 0.6.15 | 2022-09-27 | 17299 | 改进严格加密 mysql 源的错误处理 |
| 0.6.14 | 2022-09-26 | 16954 | 实现对 CDC 模式下新表的快照的支持 |
| 0.6.13 | 2022-09-14 | 15668 | 将日志包装在 AirbyteLogMessage 中 |
| 0.6.12 | 2022-09-13 | 16657 | 改进 CDC 记录排队性能 |
| 0.6.11 | 2022-09-08 | 16202 | 为 UI 添加错误消息工厂 |
| 0.6.10 | 2022-09-08 | 16007 | 实现每个流的状态支持。 |
| 0.6.9 | 2022-09-03 | 16216 | 标准化 CDC 复制的规范。请参阅升级说明 上方。 |
| 0.6.8 | 2022-09-01 | 16259 | 更频繁地发出状态消息 |
| 0.6.7 | 2022-08-30 | 16114 | 防止流量在严格加密版本的源 mysql 上通过不安全的通道 |
| 0.6.6 | 2022-08-25 | 15993 | 改进了通过 SSL 连接的支持 |
| 0.6.5 | 2022-08-25 | 15917 | 修复时间数据类型默认值错误 |
| 0.6.4 | 2022-08-18 | 14356 | DB 源:仅当至少有一个列可以用作游标字段时,才显示表可以增量同步 |
| 0.6.3 | 2022-08-12 | 15044 | 添加了使用不同 SSL 模式和 SSL 证书连接的能力 |
| 0.6.2 | 2022-08-11 | 15538 | 允许在 db 流状态中添加其他属性 |
| 0.6.1 | 2022-08-02 | 14801 | 修复多个日志绑定 |
| 0.6.0 | 2022-07-26 | 14362 | 整数列现在被发现为 int64 字段。 |
| 0.5.17 | 2022-07-22 | 14714 | 澄清无效游标列选择时的错误消息 |
| 0.5.16 | 2022-07-14 | 14574 | 移除 additionalProperties:false来自 JDBC 源连接器 |
| 0.5.15 | 2022-06-23 | 14077 | 使用新的状态管理 |
| 0.5.13 | 2022-06-21 | 13945 | 对齐数据类型测试 |
| 0.5.12 | 2022-06-17 | 13864 | 更新任何跟踪消息错误的堆栈跟踪格式 |
| 0.5.11 | 2022-05-03 | 12544 | 通过添加对孤立线程的监视器来防止源在某些情况下挂起。 |
| 0.5.10 | 2022-04-29 | 12480 | 查询表,使用自适应获取大小来优化 JDBC 内存消耗 |
| 0.5.9 | 2022-04-06 | 11729 | 将 mina-sshd 从 2.7.0 升级到 2.8.0 |
| 0.5.6 | 2022-02-21 | 10242 | 修复旧连接器的游标,这些连接器使用非微秒格式。现在连接器支持这两种格式 |
| 0.5.5 | 2022-02-18 | 10242 | 更新带有微秒的时间戳转换 |
| 0.5.4 | 2022-02-11 | 10251 | 错误 源 MySQL CDC:当强制列中存在零日期值时,同步失败 |
| 0.5.2 | 2021-12-14 | 6425 | MySQL CDC 同步失败,因为在 DB 中找不到起始 binlog 位置 |
| 0.5.1 | 2021-12-13 | 8582 | 更新连接器字段标题/描述 |
| 0.5.0 | 2021-12-11 | 7970 | 支持所有 MySQL 类型 |
| 0.4.13 | 2021-12-03 | 8335 | 源-MySql:不要检查 cdc 必需的参数 binlog_row_image 用于标准复制 |
| 0.4.12 | 2021-12-01 | 8371 | 修复 ssh 密钥中的不正确的处理 "\n" |
| 0.4.11 | 2021-11-19 | 8047 | 源 MySQL:将二进制数据转换为 base64 格式 |
| 0.4.10 | 2021-11-15 | 7820 | 添加基本性能测试 |
| 0.4.9 | 2021-11-02 | 7559 | 正确处理可能超出 java Short 数据类型能力的大的无符号短整数值 |
| 0.4.8 | 2021-09-16 | 6093 | 提高处理各种数据类型(如小数、日期、日期时间、二进制和文本)的可靠性 |
| 0.4.7 | 2021-09-30 | 6585 | 改进 SSH 隧道密钥生成步骤 |
| 0.4.6 | 2021-09-29 | 6510 | 支持 SSL 连接 |
| 0.4.5 | 2021-09-17 | 6146 | 添加通过 SSH 连接到 DB 的选项 |
| 0.4.1 | 2021-07-23 | 4956 | 修复日志链接 |
| 0.3.7 | 2021-06-09 | 3973 | 为 Kubernetes 支持添加 AIRBYTE_ENTRYPOINT |
| 0.3.6 | 2021-06-09 | 3966 | 修复 CDC 方法的过度日志记录 |
| 0.3.5 | 2021-06-07 | 3890 | 修复 CDC 处理 tinyint(1) 和布尔类型 |
| 0.3.4 | 2021-06-04 | 3846 | 修复最大整数值失败 |
| 0.3.3 | 2021-06-02 | 3789 | MySQL CDC 轮询等待 5 分钟,如果没有收到任何记录 |
| 0.3.2 | 2021-06-01 | 3757 | MySQL CDC 轮询 5s 到 5 分钟 |
| 0.3.1 | 2021-06-01 | 3505 | 实现 MySQL CDC |
| 0.3.0 | 2021-04-21 | 2990 | 支持命名空间 |
| 0.2.5 | 2021-04-15 | 2899 | 修复测试中的错误 |
| 0.2.4 | 2021-03-28 | 2600 | 为 DB 和游标类型转换添加 NCHAR 和 NVCHAR 支持 |
| 0.2.3 | 2021-03-26 | 2611 | 在参数中添加可选的 jdbc_url_params |
| 0.2.2 | 2021-03-26 | 2460 | 目标支持目标同步模式 |
| 0.2.1 | 2021-03-18 | 2488 | 源支持主键 |
| 0.2.0 | 2021-03-09 | 2238 | 协议允许未来/未知的属性 |
| 0.1.10 | 2021-02-02 | 1887 | 将 AbstractJdbcSource 迁移为使用迭代器 |
| 0.1.9 | 2021-01-25 | 1746 | 修复 State Decorator 中的空指针异常 (NPE) |
| 0.1.8 | 2021-01-19 | 1724 | 修复 JdbcSource 处理不同 schema 中同名表的问题 |
| 0.1.7 | 2021-01-14 | 1655 | 修复 JdbcSource 内存溢出 (OOM) |
| 0.1.6 | 2021-01-08 | 1307 | 将 Postgres 和 MySQL 迁移为使用新的 JdbcSource |
| 0.1.5 | 2020-12-11 | 1267 | 支持增量同步 |
| 0.1.4 | 2020-11-30 | 1046 | 添加使用索引 YAML 文件的连接器 |