Amazon S3 Tables 上线 Hive 到 Iceberg 托管迁移,简化数据湖升级路径
AWS 于 2026 年 11 月 5 日正式宣布,Amazon S3 Tables 现已支持将注册在 AWS Glue Data Catalog 中的 Apache Hive Parquet 表托管迁移至 Apache Iceberg 格式。这项新功能旨在为数据湖现代化提供一条简单且具成本效益的路径,允许企业在生产工作负载持续运行的情况下完成升级,无需用户自行构建复杂的迁移管道或预先配置额外的计算资源,从而显著降低了技术门槛。
Apache Iceberg 已成为大规模分析数据集的开放标准,支持模式演进、隐藏分区及时间旅行查询等高级特性。Amazon S3 Tables 专为保持 Iceberg 表在增长过程中的性能与成本效益而设计,内置了自动维护、优化、复制以及 S3 智能分层存储等功能。此次更新将原本需要数周工程工作的手动迁移过程,转化为一个由 API 驱动的托管操作,解决了数据类型转换和回滚能力构建带来的运营复杂性。
在具体技术机制上,Amazon S3 Tables 接管了整个迁移工作流,涵盖数据验证、兼容性检查、类型转换、文件重压缩及整理 compaction。系统在复制任何数据前,会识别范围内的所有源对象并生成兼容性报告。用户可在不停止向源表写入的情况下多次执行同步操作,仅在最终切换时需短暂停机几分钟。这种增量同步机制确保了迁移过程中目标表能实时追赶源表变更,最大限度减少了业务中断时间。
成本结构方面,相较于自建方案,该托管迁移服务更具经济性。用户仅需为实际复制的数据量付费,Hive 到 Iceberg 的转换过程本身不收取额外费用。若源对象已处于 S3 智能分层存储中,它们在迁移期间将保持在当前的访问层级,避免了因数据移动导致的存储成本意外上升。
操作流程上,用户只需在 S3 控制台选择目标桶并创建迁移任务,设定命名空间与表名后,系统即采用针对查询性能和存储效率优化的默认设置创建目标 Iceberg 表。迁移启动后,目标表在数据复制期间处于只读状态,待用户确认完成迁移后,系统将提升其权限为读写模式。随后,用户可立即通过 Amazon Athena、SageMaker Unified Studio 或直接利用兼容 Iceberg REST API 的工具开始数据分析工作。
目前,该功能已在美国东部、西部,亚太区的孟买、新加坡、悉尼、东京,以及欧洲的法兰克福、爱尔兰和斯德哥尔摩等多个区域上线。首发版本支持同一 AWS 账户和区域内、以 Parquet 格式存储且注册在 AWS Glue 的 Hive 表。
推荐阅读
- 2026-11-06
- 2026-11-05
- 2026-07-13











