跳至主要内容

BigQuery

可用性
可用 核心可用 标准可用 Plus可用 Pro可用 Enterprise Flex可用 自托管 Enterprise可用 PyAirbyte
支持级别
Airbyte
连接器版本
3.0.16 （上次更新 2 个月前）
同步成功率
使用率
定义 ID
22f6c74f-5699-40ff-833c-4a879ea40133

设置 BigQuery 目标连接器涉及设置数据加载方法并使用 Airbyte UI 配置 BigQuery 目标连接器。

本页将指导您设置 BigQuery 目标连接器。

先决条件​

设置指南​

第一步：设置数据加载方法​

使用批量标准插入​

您可以使用 BigQuery 驱动程序内置的转换功能，将 INSERT 语句转换为文件上传，然后批量加载到 BigQuery 中。这是以高性能方式将数据加载到 BigQuery 的最简单方法。这些暂存文件由 BigQuery 管理，并在加载完成后自动删除。

使用 Google Cloud Storage 存储桶​

如果您希望更多地控制暂存文件的存储方式和位置，可以选择使用 GCS 存储桶。

要使用 Google Cloud Storage 存储桶

  1. 创建一个 Cloud Storage 存储桶，并将保护工具设置为 none 或 对象版本控制。确保存储桶没有 保留策略。
  2. 创建 HMAC 密钥和访问 ID.
  3. 向 Google Cloud 服务帐号授予 存储对象管理员 角色。这必须与您在 BigQuery 连接器设置步骤中配置的 BigQuery 访问的服务帐号相同。
  4. 确保您的 Cloud Storage 存储桶可以从运行 Airbyte 的机器访问。验证 Airbyte 是否能够连接到您的存储桶的最简单方法是使用 UI 中的检查连接工具。

您的存储桶必须使用 Google 管理的加密密钥进行加密（这是创建新存储桶时的默认设置）。我们目前不支持使用客户管理的加密密钥 (CMEK) 的存储桶。您可以在 GCS 存储桶的“配置”选项卡中查看此设置，在 加密类型 行中。

第二步：设置 BigQuery 连接器​

  1. 登录到您的 Airbyte Cloud 或 Airbyte 开源帐户。
  2. 单击 目标，然后单击 + 新目标。
  3. 在设置目标页面上，从 目标类型 下拉菜单中选择 BigQuery。
  4. 输入 BigQuery 连接器的名称。
  5. 对于 项目 ID，输入您的 Google Cloud 项目 ID。
  6. 对于 数据集位置，选择 BigQuery 数据集的位置。
警告

您无法稍后更改位置。

  1. 对于 默认数据集 ID，输入 BigQuery 数据集 ID。
  2. 对于 加载方法，选择 批量标准插入 或 GCS 暂存。
  3. 对于 服务帐号密钥 JSON（云端必需，开源可选），输入 Google Cloud 服务帐号密钥 JSON 格式。
注意

请务必复制帐户密钥 JSON 文件中的所有内容，包括方括号。

  1. 对于 转换查询运行类型（可选），选择 交互式 以让 BigQuery 运行交互式查询作业，或选择 批量 以让 BigQuery 运行批量查询作业。
注意

交互式查询会尽快执行，并计入每日并发配额和限制，而批量查询会在 BigQuery 共享资源池中空闲资源可用时执行。如果 BigQuery 在 24 小时内未启动查询，BigQuery 会将作业优先级更改为交互式。批量查询不计入您的并发速率限制，从而更容易同时启动许多查询。

  1. 对于 Google BigQuery 客户端块大小（可选），使用默认值 15 MiB。稍后，如果您在同步过程中遇到网络或内存管理问题（尤其是在目标端），请尝试减小块大小。在这种情况下，同步速度会变慢，但更有可能成功。

支持的同步模式​

BigQuery 目标连接器支持以下 同步模式

  • 完全刷新同步
  • 增量 - 追加同步
  • 增量 - 追加 + 去重

输出 schema​

最终表包含以下字段，除了流模式中声明的列之外

  • airbyte_raw_id
  • _airbyte_generation_id
  • airbyte_extracted_at
  • _airbyte_meta

再次参见 此处，了解有关这些字段的更多信息。

BigQuery 中的输出表按时间单位列 airbyte_extracted_at 以每日粒度进行分区，并按 airbyte_extracted_at 和表主键进行聚类。分区边界基于 UTC 时间。这对于限制扫描这些分区表的数量很有用，方法是使用谓词过滤器（WHERE 子句）。分区列上的过滤器用于修剪分区并降低查询成本。（Airbyte 不启用 需要分区过滤器 参数，但您可以更新生成的表来切换它。）

旧版原始表模式​

如果您启用了“旧版原始表”选项，连接器将以这种格式写入表。

默认情况下，Airbyte 将每个流输出到 airbyte_internal 数据集中的自己的原始表中（您可以通过 Airbyte 内部表数据集名称 选项覆盖此设置）。原始表中的内容不会进行去重。

原始表包含以下字段

  • _airbyte_raw_id
  • _airbyte_generation_id
  • _airbyte_extracted_at
  • _airbyte_loaded_at
  • _airbyte_meta
  • _airbyte_data

_airbyte_data 是一个包含记录数据的 JSON blob。有关其他字段的更多信息，请参阅 此处。

BigQuery 命名约定​

遵循 BigQuery 数据集命名约定。

Airbyte 将任何无效字符转换为 _ 字符来写入数据。但是，由于以 _ 开头的数据集在 BigQuery Explorer 面板中是隐藏的，Airbyte 会将命名空间前缀为 n 以进行转换后的命名空间。

数据类型映射​

Airbyte 类型BigQuery 类型
STRINGSTRING
STRING (BASE64)STRING
STRING (BIG_NUMBER)STRING
STRING (BIG_INTEGER)STRING
NUMBERNUMERIC
INTEGERINT64
BOOLEANBOOL
STRING (TIMESTAMP_WITH_TIMEZONE)TIMESTAMP
STRING (TIMESTAMP_WITHOUT_TIMEZONE)DATETIME
STRING (TIME_WITH_TIMEZONE)STRING
STRING (TIME_WITHOUT_TIMEZONE)TIME
DATEDATE
OBJECTJSON
ARRAYJSON

解决权限问题​

服务帐户没有适当的权限。

  • 确保 BigQuery 服务帐户具有 BigQuery 用户 和 BigQuery 数据编辑器 角色或与这两个角色等效的权限。
  • 如果选择了 GCS 暂存模式，请确保 BigQuery 服务帐户具有访问 GCS 存储桶和路径的正确权限，或者具有 Cloud Storage 管理员 角色，其中包括所需的权限的超集。

HMAC 密钥错误。

  • 确保 HMAC 密钥是为 BigQuery 服务帐户创建的，并且该服务帐户有权访问 GCS 存储桶和路径。

教程​

现在您已经设置了 BigQuery 目标连接器，请查看以下 BigQuery 教程

参考​

配置字段参考

字段
类型
属性名称
字符串
dataset_id
字符串
dataset_location
字符串
project_id
字符串
cdc_deletion_mode
字符串
credentials_json
布尔值
disable_type_dedupe
对象
loading_method
字符串
raw_data_dataset

变更日志​

展开以查看
版本日期拉取请求主题
3.0.162025-11-2567401在 SQL 生成中为列名添加反引号，以防止语法错误。
3.0.152025-11-1369307处理超出范围的时间戳/时间。
3.0.142025-11-1169231升级到 Bulk CDK 0.1.74。
3.0.132025-11-0569126升级到 Bulk CDK 0.1.61。
3.0.122025-10-3169083如果 Bigquery 检测到错误的记录，则大声报错。
3.0.112025-10-2868671记录每个加载作业的记录数。
3.0.102025-10-2167153实现新的 proto 模式实现
3.0.92025-10-1768152更新到新的 TableOperationsClient 接口。
3.0.82025-10-0667078删除同步作业的内存限制，以提高性能和资源利用率。
3.0.72025-09-0365905将发布候选版本 3.0.7-rc.1 提升到主版本。
3.0.7-rc.12025-08-2765114实现 SOCKET+PROTO 模式支持。
3.0.62025-07-2463700改进计费错误的错误报告。
3.0.52025-07-1563312引入上游修复，以支持 GCS 暂存模式中的空字符。
3.0.42025-07-1563327改进计费错误的错误报告。
3.0.32025-07-0262495改进配置错误的连接的错误报告；改进对复杂类型支持。
3.0.22025-06-2662106改进模式演化期间的错误报告。
3.0.12025-06-2662085正确处理以数字开头的流名称/命名空间和列名称。
3.0.02025-06-2559752升级到直接加载表；添加软 CDC 删除选项。
2.12.42025-06-2462045将发布候选版本 2.12.4-rc.6 提升到主版本。
2.12.4-rc.62025-06-24620412.12.4 RC 6 更多的重试更好
2.12.4-rc.52025-06-23620162.12.4 RC 5 处理高达 20MiB 的记录
2.12.4-rc.42025-06-23620142.12.4 RC 4 改进 JSON 模式解析器在无效源模式上的行为
2.12.4-rc.32025-06-18617022.12.4 RC 3 修复批量加载器上具有特殊字符的流的问题
2.12.4-rc.22025-06-18617002.12.4 RC 2（在无效目录上抛出更具信息量的错误）
2.12.4-rc.12025-06-16616372.12.4 RC 1（理论上等同于 2.12.0，但修复了 CDK 中的全局状态处理）
2.12.32025-06-1661648这不是您要查找的版本。与 2.10.2 相同
2.12.12025-06-1361588发布版本以考虑管道中可能发生的重复发布。无操作更改。 警告：这存在一个错误。请勿使用。
2.12.02025-06-0661432通过写入 GZIP 压缩的文件来提高 GCS 暂存模式中的性能。
2.11.42025-05-3061018在同步启动期间出错时，始终发出有用的错误消息。
2.11.32025-06-0261321CHECK 操作不再需要删除数据集。
2.11.22025-05-2960986CHECK 操作使用配置的默认数据集，而不是 airbyte_internal_test。
2.11.12025-05-2960973改进在流的同步模式和模式都发生更改且先前的同步未干净退出的情况下的错误恢复。
2.11.02025-05-2760922将发布候选版本 2.11.0-rc.7 提升到主版本。
2.11.0-rc.72025-05-2260865为检查同步命名空间添加随机元素
2.11.0-rc.62025-05-2260859改进标准插入流的 BigQuery 配额使用情况，这些流负载较重
2.11.0-rc.52025-05-2160841改进具有许多状态消息的同步中的行为
2.11.0-rc.42025-05-1960791修复在没有列的流中检测模式更改时的错误
2.11.0-rc.32025-05-1660324修复许多状态消息同步中的错误
2.11.0-rc.22025-05-1560302修复处理特殊字符/大写字符的列名中的错误
2.11.0-rc.12025-05-0859729版本 2.11.0 RC 1
2.10.22025-04-2959142添加 europe-north2 区域。
2.10.12025-04-1457569删除 StringSubstitutor 的使用
2.10.02025-04-0256982将默认原始表分区方案更改为 _airbyte_extracted_at；升级 CDK
2.9.32025-03-2456355升级到 airbyte/java-connector-base:2.0.1 以兼容 M4。
2.9.22025-01-1051482使用非 root 基础镜像
2.9.12024-12-1849902使用基础镜像：airbyte/java-connector-base:1.0.0
2.9.02024-09-1845433升级所有依赖项
2.8.92024-08-2044476增加消息解析限制到 100mb
2.8.82024-08-2244526还原协议合规性修复
2.8.72024-08-1542504修复刷新逻辑中的错误（平台已缓解，只是修复协议合规性）
2.8.62024-07-3042511添加了一个复制操作，用于在检查函数中验证复制权限
2.8.52024-07-2242407批量标准插入是默认加载模式
2.8.42024-07-1541968不要在空流列表上永久挂起；缩短 INCOMPLETE 流状态的错误消息
2.8.32024-07-1241674升级到最新 CDK
2.8.22024-07-0841041修复截断刷新中的恢复逻辑，以防止数据丢失
2.8.12024-06-2539379删除冗余权限 bigquery.datasets.create 权限的要求
2.8.02024-06-2139904将所有生产代码转换为 kotlin
2.7.12024-06-1739526内部代码更改，用于改进源/平台失败情况下的错误报告（INCOMPLETE 流状态/空 ConfiguredCatalog）。
2.7.02024-06-1738713支持 刷新和可恢复的完全刷新。警告：在升级到此连接器版本之前，您必须升级到平台 0.63.7。
2.6.32024-06-1038331内部代码更改，为未来的功能发布做准备
2.6.22024-06-0738764将消息长度限制增加到 50MiB
2.6.12024-05-2938770内部代码更改（切换到 CDK 工件）
2.6.02024-05-2838359传播 airbyte_meta 来自源；添加 generation_id 列
2.5.12024-05-2238591修复在清理阶段包含斜杠的错误
2.5.02024-05-2238132现有代码的重大重写，适应 38107 中引入的 CDK 更改
2.4.202024-05-1338131清理 BigQueryWriteConfig 并重用 StreamConfig；适应 StreamConfig 签名更改
2.4.192024-05-1038125采用最新的 CDK 代码
2.4.182024-05-1038111无功能更改，删除未使用的代码
2.4.172024-05-0938098内部构建结构更改
2.4.162024-05-0837714采用 CDK 0.34.0
2.4.152024-05-0734611采用 CDK 0.33.2
2.4.142024-02-2537584删除 CDK 中未使用的不安全依赖项
2.4.132024-02-2536899采用最新的 CDK
2.4.122024-03-0435315采用 CDK 0.23.11
2.4.112024-02-2235569修复日志错误。
2.4.102024-02-1535240采用 CDK 0.20.9
2.4.92024-02-1535285采用 CDK 0.20.8
2.4.82024-02-1235144采用 CDK 0.20.2
2.4.72024-02-1235111采用 CDK 0.20.1
2.4.62024-02-0934575采用 CDK 0.20.0
2.4.52024-02-0834745采用 CDK 0.19.0
2.4.42024-02-0835027升级 CDK 到 0.17.1
2.4.32024-02-0134728升级 CDK 到 0.16.4；0.14.2、0.15.1 和 0.16.3 的重要更改
2.4.22024-01-2434451改进无法解析的输入日志记录
2.4.12024-01-2434458改进错误报告
2.4.02024-01-2434468升级 CDK 到 0.14.0
2.3.312024-01-22#34023将 DDL 操作合并到一个执行中
2.3.302024-01-12#34226升级 CDK 到 0.12.0；清理依赖项
2.3.292024-01-09#34003修复从 GCP Env 加载凭据
2.3.282024-01-08#34021在检查调用中为虚拟插入添加幂等性 ID
2.3.272024-01-05#33948如果设置失败，则跳过检索初始表状态
2.3.262024-01-04#33730内部代码结构更改
2.3.252023-12-20#33704更新到 java CDK 0.10.0（无更改）
2.3.242023-12-20#33697停止创建不必要的临时表
2.3.232023-12-18#33124将模式创建与表创建分开
2.3.222023-12-14#33451删除旧的规范选项
2.3.212023-12-13#33232仅当流有任何记录时才运行类型化和去重
2.3.202023-12-08#33263采用 java CDK 版本 0.7.0
2.3.192023-12-07#32326更新通用的 T&D 接口
2.3.182023-12-04#33084T&D SQL 语句移动到调试日志级别
2.3.172023-12-04#33078进一步增加 gcs COPY 超时时间
2.3.162023-11-14#32526清理内存管理器日志。
2.3.152023-11-13#32468进一步的错误分组增强
2.3.142023-11-06#32234删除未使用的配置选项。
2.3.132023-11-08#32125修复编译器警告
2.3.122023-11-08#32309撤销：使用 Typed 对象进行连接配置
2.3.112023-11-07#32147使用 Typed 对象进行连接配置
2.3.102023-11-07#32261进一步改进错误报告
2.3.92023-11-07#32112GCS 暂存模式：为了更有效地使用速率限制，降低刷新频率
2.3.82023-11-06#32026将 SAFE_CAST 事务移动到单独的事务
2.3.72023-11-06#32190进一步改进错误报告
2.3.62023-11-06#32193采用 java CDK 版本 0.4.1。
2.3.52023-11-02#31983改进错误报告
2.3.42023-10-31#32010添加更多数据中心。
2.3.32023-10-30#31985延迟升级截止日期至 11 月 7 日
2.3.22023-10-30#31960采用 java CDK 版本 0.2.0。
2.3.12023-10-27#31529性能增强（切换到增量去重同步的 merge 语句）
2.3.02023-10-25#31686选择退出类型化和去重表的标志
2.2.02023-10-25#31520停止去重原始表
2.1.62023-10-23#31717删除意外的目的地 v2 检查
2.1.52023-10-17#30069暂存目的地异步
2.1.42023-10-17#31191通过在提取时间上过滤新的原始记录来提高类型化和去重性能
2.1.32023-10-10#31358字符串化数组和对象类型以进行类型:string最终表中的列
2.1.22023-10-10#31194释放空闲的每流缓冲区内存
2.1.12023-10-10#31083修复异步目标中数值的精度
2.1.02023-10-09#31149不再因主键为空而导致同步失败 - 尝试进行去重
2.0.262023-10-09#31198澄清配置组
2.0.252023-10-09#31185将暂存文件上传超时时间增加到 5 分钟
2.0.242023-10-06#31139升级 CDK 版本
2.0.232023-10-06#31129减小异步缓冲区大小
2.0.222023-10-04#31082撤销空主键检查
2.0.212023-10-03#31028更新超时时间
2.0.202023-09-26#30779最终表主键列变为非空，并跳过原始记录中空主键的检查（性能）
2.0.192023-09-26#30775增加异步块大小
2.0.182023-09-27#30739修复列名冲突检测
2.0.172023-09-26#30696尝试不安全的类型化操作，并带有异常子句
2.0.162023-09-22#30697提高在模式更改期间不干净退出的弹性
2.0.152023-09-21#30640处理具有相同名称和命名空间的流
2.0.142023-09-20#30069暂存目的地异步
2.0.132023-09-19#30592内部代码更改
2.0.122023-09-19#30319改进测试
2.0.112023-09-18#30551GCS 暂存是第一个加载方法选项
2.0.102023-09-15#30491改进错误消息显示
2.0.92023-09-14#30439修复一个瞬态错误
2.0.82023-09-12#30364添加日志消息
2.0.72023-08-29#29878内部代码更改
2.0.62023-09-05#29917通过将 ARRAY_CONCAT 更改为 ARRAY_AGG 来提高性能，以构建元数据错误数组
2.0.52023-08-31#30020并行运行类型化和去重任务
2.0.42023-09-05#30117在同步开始时以及每 6 小时进行类型化和去重
2.0.32023-09-01#30056内部重构，无行为更改
2.0.22023-09-01#30120通过跳过字符串上的 SAFE_CAST 来提高非常宽流的性能
2.0.12023-08-29#29972发布新版本以取代旧的 v2.0.0
2.0.02023-08-27#29783Destinations V2
1.10.22023-08-24#29805目的地 v2：不要在迁移中进行软重置
1.10.12023-08-23#29774目的地 v2：不要在覆盖同步中进行软重置
1.10.02023-08-21#29636目的地 v2：几个关键的错误修复（无光标去重、改进浮点处理、改进特殊字符处理；改进错误处理）
1.9.12023-08-21#28687在幕后：添加对 Java CDK v0.0.1 的依赖。
1.9.02023-08-17#29560目的地 v2：在不允许的列名之前抛出错误
1.8.12023-08-17#29522迁移 BugFix - 确保创建原始数据集
1.8.02023-08-17#29498修复 GCS 暂存模式中的检查点逻辑
1.7.82023-08-15#29461迁移 BugFix - 确保在 GCS 暂存之前发生迁移。
1.7.72023-08-11#29381目的地 v2：添加对没有列的流的支持
1.7.62023-08-04#28894目的地 v2：添加 v1 -> v2 迁移逻辑
1.7.52023-08-04#29106目的地 v2：处理不寻常的 CDC 删除边缘情况
1.7.42023-08-04#29089目的地 v2：改进列名中的特殊字符处理
1.7.32023-08-03#28890内部代码更新；改进测试
1.7.22023-08-02#28976修复 v1 模式中的复合主键处理
1.7.12023-08-02#28959目的地 v2：修复非去重模式下的 CDC 同步
1.7.02023-08-01#28894目的地 v2：开放早期访问计划加入
1.6.02023-07-26#28723目的地 v2：更改原始表数据集和命名约定
1.5.82023-07-25#28721目的地 v2：处理跨同步的光标更改
1.5.72023-07-24#28625目的地 v2：将聚类列限制为 4 个
1.5.62023-07-21#28580目的地 v2：在用户指定的位置创建数据集
1.5.52023-07-20#28490目的地 v2：修复在 OVERWRITE 模式下现有表为空时的模式更改检测；其他代码重构
1.5.42023-07-17#28382目的地 v2：模式更改检测
1.5.32023-07-14#28345增加补丁以触发重建
1.5.22023-07-05#27936内部脚手架更改，为未来的开发做准备
1.5.12023-06-30#27891撤销有错误的更新
1.5.02023-06-27#27781许可证更新：Elv2
1.4.62023-06-28#27268内部脚手架更改，为未来的开发做准备
1.4.52023-06-21#27555减小镜像大小
1.4.42023-05-25#26585日志中的小调整，以提高清晰度
1.4.32023-05-17#26213修复解析文件缓冲区配置计数中的错误
1.4.22023-05-10#25925测试更新。规范化测试现在在目标容器中完成。
1.4.12023-05-11#25993内部库更新
1.4.02023-04-29#25570内部库更新。提高版本以与 BigQuery-denormalized 保持同步。
1.3.42023-04-28#25588内部脚手架更改，为未来的开发做准备
1.3.32023-04-27#25346内部代码清理
1.3.12023-04-20#25097内部脚手架更改，为未来的开发做准备
1.3.02023-04-19#25287添加参数以配置在使用 GCS 作为加载方法时文件缓冲区数量
1.2.202023-04-12#25122添加更多数据中心
1.2.192023-03-29#24671在某些错误情况下更快地失败
1.2.182023-03-23#24447将服务帐户密钥 JSON 字段设置为 always_show: true，以便它不会折叠到可选字段部分
1.2.172023-03-17#23788S3-Parquet：添加处理数组中空值的处理程序
1.2.162023-03-10#23931添加了定期缓冲区刷新支持
1.2.152023-03-10#23466更改 S3 Avro 类型为 Int 到 Long
1.2.142023-02-08#22497修复表已存在错误
1.2.132023-01-26#20631添加了对使用暂存进行目标检查点的支持
1.2.122023-01-18#21087将身份验证错误包装为配置异常
1.2.112023-01-18#21144添加了明确的错误消息，如果同步因配置问题而失败
1.2.92022-12-14#20501报告在连接检查期间发生的 GCS 暂存失败
1.2.82022-11-22#19489添加了非计费项目的处理方式，用于检查连接阶段
1.2.72022-11-11#19358修复了检查方法，以捕获不匹配的数据集位置
1.2.62022-11-10#18554改进了检查连接方法，以处理更多错误
1.2.52022-10-19#18162改进了错误日志
1.2.42022-09-26#16890添加了 user-agent 头
1.2.32022-09-22#17054尊重流命名空间
1.2.12022-09-14#15668(有缺陷，请勿使用) 将日志包装在 AirbyteLogMessage 中
1.2.02022-09-09#14023(有缺陷，请勿使用) 仅在数组嵌套时覆盖数组
1.1.162022-09-01#16243修复当来自组合限制（anyOf、oneOf、allOf 字段）的字段名称冲突时，Json 到 Avro 转换
1.1.152022-08-22#15787如果作业失败，则抛出异常
1.1.142022-08-03#14784启用应用程序默认凭证
1.1.132022-08-02#14801修复多个日志绑定
1.1.122022-08-02#15180修复标准加载模式
1.1.112022-06-24#14114删除带有暂存的连接器的规范中的 "additionalProperties": false
1.1.102022-06-16#13852更新任何跟踪消息错误的堆栈跟踪格式
1.1.92022-06-17#13753弃用并删除基于 StreamTransferManager 的连接器中的 PART_SIZE_MB 字段
1.1.82022-06-07#13579始终检查 GCS 存储桶，以针对 GCS 加载方法捕获无效的 HMAC 密钥。
1.1.72022-06-07#13424重新排序了规范中的字段。
1.1.62022-05-15#12768明确服务帐户密钥 json 字段在云端是必需的。
1.1.52022-05-12#12805更新到最新的 base-java，以便在发生错误时发出 AirbyteTraceMessage。
1.1.42022-05-04#12578在 JSON 到 Avro 转换中，记录不遵循 Avro 模式的 JSON 字段值以进行调试。
1.1.32022-05-02#12528更新了数据集位置字段描述
1.1.22022-04-29#12477数据集位置是一个必需字段
1.1.12022-04-15#12068修复了 GCS 存储桶条件绑定的错误
1.1.02022-04-06#11776使用序列化缓冲策略以减少内存消耗。
1.0.22022-03-30#11620更新了规范
1.0.12022-03-24#11350改进了检查性能
1.0.02022-03-18#11238更新了规范和文档
0.6.122022-03-18#10793修复了包含无效字符的命名空间
0.6.112022-03-03#10755确保杀死子线程并停止 JVM
0.6.82022-02-14#10256添加 -XX:+ExitOnOutOfMemoryError JVM 选项
0.6.62022-02-01#9959修复了缓冲流消费者中的空指针异常。
0.6.62022-01-29#9745与 Sentry 集成。
0.6.52022-01-18#9573BigQuery 目标：更新某些输入字段的描述
0.6.42022-01-17#8383支持数据集 ID 前缀为项目 ID
0.6.32022-01-12#9415BigQuery 目标：修复 Facebook 数据的 GCS 处理
0.6.22022-01-10#9121修复了 GCS 模式的检查方法，以验证是否已向用户分配所有角色
0.6.12021-12-22#9039为 GCS 暂存添加了 part_size 配置到 UI
0.6.02021-12-17#8788BigQuery/BiqQuery denorm 目标：添加使用不同类型 GCS 文件的可能性
0.5.12021-12-16#8816更新数据集位置
0.5.02021-10-26#7240输出分区/聚类表
0.4.12021-10-04#6733支持以数字开头的 Dataset
0.4.02021-08-26#5296添加了 GCS 暂存上传选项
0.3.122021-08-03#3549添加可选参数，以使更改 BigQuery 客户端的块/缓冲区大小成为可能
0.3.112021-07-30#5125启用 spec.json 中的 additionalPropertities
0.3.102021-07-28#3549添加了扩展日志，并使 JobId 填充了区域和项目 ID
0.3.92021-07-28#5026添加了原始表中清理后的 json 字段，以处理列名中的引号
0.3.62021-06-18#3947服务帐户凭证现在是可选的。
0.3.42021-06-07#3277添加数据集位置选项
此页面是否有帮助？