您现在的位置是:首页 > 正文

Amazon Aurora MySQL 与 Amazon Redshift 的 Zero ETL 集成已全面可用,一起轻松上手!

2024-02-01 06:50:47阅读 3

9c7085adcbcebeb9efd0380f395bc08f.gif

“数据是应用、流程和商业决策的核心。”

亚马逊云科技数据库、

数据分析和机器学习全球副总裁 

Swami Sivasubramanian

如今,客户常用的数据传输模式是建立从 Amazon Aurora 到 Amazon Redshift 的数据管道。这些解决方案能够帮助客户获得新的见解,进而推动销售增长、降低成本、优化业务。

1ef83f99176b5f9e616970130b517347.png

为助力客户将重心从分析数据转向从数据中创造价值,亚马逊云科技在 re:Invent 2022 上发布了 Amazon Aurora 与 Amazon Redshift 的 Zero ETL 集成,并在2023年6月推出了 Amazon Aurora MySQL 兼容版本的公开预览版

Amazon Aurora MySQL

与 Amazon Redshift的 Zero-ETL 集成

现已全面可用!

采用这一全托管解决方案,用户无需构建或维护复杂的数据管道,便可从事务数据中获取具有时效性的见解,为关键的业务决策提供信息。

a11e0609af3584f769cf3ab8f8b72635.png

本文将讲解一些操作步骤,教您如何轻松上手。了解更多该解决方案的应用与意义,欢迎您阅读 《Amazon Aurora MySQL 与 Amazon Redshift 的 Zero ETL 集成现全面可用》

现在开始轻松上手吧!

我们将使用现有的 Amazon Aurora MySQL 无服务器数据库和 Amazon Redshift 数据仓库。

首先,前往 Amazon RDS 控制台,然后在 Zero ETL 集成页面上选择“创建 Zero ETL 集成”。

5e1f6a106d8175482b92eb8d8a5b5852.png

我们需要在“创建 Zero ETL 集成”页面上操作几个步骤,为 Amazon Aurora 数据库集群和 Amazon Redshift 数据仓库配置集成。

接下来,需要为集成定义一个标识符,然后选择“下一步”。

de3cf02cd4dbda2d5785bb8da3c288a1.png

在下一个页面,选择“浏览RDS数据库”来选择源数据库。

6f3afa09e045441ad4cd9cb027a11d07.png

在这一步可以将现有数据库选为源数据库。

42e4fc6b8834ee4a2a989af44e0aaf3b.png

下一步会询问目标 Amazon Redshift 数据仓库。在这一步,可以灵活选择我的账户或其他账户中的 Amazon Redshift Serverless 或 RA3 数据仓库。本次选的是“浏览 Redshift 数据仓库”。

fc471720d93798635317828a3c925b54.png

然后选择目标数据仓库。

f272d6b0dd5314bed2039aaa40728c44.png

因为 Amazon Aurora 需要复制到数据仓库中,所以需要添加额外的资源策略,并将 Aurora 数据库添加为 Amazon Redshift 数据仓库中的授权集成源。

为了解决这个问题,可以在 Amazon Redshift 控制台中选择手动更新,或者让 Amazon RDS 来帮助解决,即勾选此处的复选框。

d8f77c01ff251e90f9f9323e60fb4642.png

下一个页面会显示 Amazon RDS 将为我们执行的更改。选择“继续”。

f37e6cc27d6f8cad7dd2a868024c317f.png

可以在下一个页面配置标签和加密。Zero ETL 集成会默认使用亚马逊云科技密钥管理服务(Amazon KMS)对数据进行加密,也可以选择使用自己的密钥。

628f684bc7387339f2108c0f910567e4.png

然后需要核对所有配置,并选择“创建 Zero ETL 集成”来创建集成。

26516b2e84eb043a49db8f2369dfe2ba.png

Zero ETL 集成在几分钟后便会成功创建。然后切换到 Amazon Redshift,可以在“Zero ETL 集成”页面看到最近创建的 Zero ETL 集成。

7803f62453c914a0319df0d1fb6fd2c6.png

由于这个集成目前还没有 Amazon Redshift 中的目标数据库,所以需要创建一个。

94a84868e68c38c18fa0d2b49605226b.png

现在集成配置已经完成了。可以在这个页面上看到,集成现在是激活状态,已经复制了一个表格。

0aa9b1e672362fe877d972fec0045156.png

为了测试,我们在 Amazon Aurora 数据库中新建了一个表格,并在该表中插入一条记录。

f59e3f6a6a3fe2b4524022470e14a3bc.png

然后切换到 Amazon Redshift 中的 Redshift Query Editor v2。可以在这里连接到作为集成的一部分而创建的数据库。可以运行一个简单的查询,看到 Amazon Redshift 中已经有了我们的数据。

69f5459a763e046e2c89a1eeb4fa0600.png

Zero ETL 集成非常方便,原因有二:第一,可以将多个数据库集群的所有数据整合到一起并进行汇总分析;第二,事务数据不出几秒就会被写入 Amazon Aurora MySQL,也就是说 Zero ETL 集成的数据能与 Amazon Redshift 无缝衔接。

注意事项

  • 可用性:Amazon Aurora 与 Amazon Redshift 的 Zero ETL 集成目前的可用区域包括美国东部的俄亥俄、弗吉尼亚北部,美国西部的俄勒冈,亚太地区的新加坡、悉尼、东京,以及欧洲的法兰克福、爱尔兰和斯德哥尔摩。

  • 支持的数据库引擎:Amazon Aurora 与 Amazon Redshift 的 Zero ETL 集成目前支持Amazon Aurora MySQL 的兼容版本。支持 Amazon Aurora PostgreSQL 的兼容版本目前正在开发中。

  • 定价:Amazon Aurora 与 Amazon Redshift 的 Zero ETL 集成无需额外费用。用户只需为创建和处理 Zero ETL 集成所创建的变更数据的现有 Amazon Aurora 和 Amazon Redshift 资源付费。

我们距离目标更近了一步:让您能够更专注于利用数据创造价值,而非为数据分析做准备。想要了解更多如何上手操作的资讯,请点击“阅读原文”扫描下方二维码进入 Amazon Aurora MySQL 与 Amazon Redshift 的 Zero ETL 集成页面。

13e397fed54ac00c2db64c26157c4053.png

祝各位集成愉快!

本篇作者

6eb44173e98e4e2f7afe1de1c2bc247d.jpeg

Donnie Prakoso

亚马逊云科技首席开发者布道师。他在电信、银行和初创企业等技术行业拥有超过17年的经验。他现在的工作重点是帮助开发人员了解各种技术,将他们的想法转化为实践。他热爱喝咖啡,自诩为“咖啡师”,也热衷于探讨微服务、人工智能/机器学习等各种话题。

2cb8b46715805b0f0ce14f0f6a330169.gif

星标不迷路,开发更极速!

关注后记得星标「亚马逊云开发者」

f7905e031654f951c599e7d96afe0e2e.gif

听说,点完下面4个按钮

就不会碰到bug了!

e88a8c533bcf1d0a81a67150c608b9b6.gif

网站文章

  • (三)Boost库之字符串处理

    (三)Boost库之字符串处理

    2019独角兽企业重金招聘Python工程师标准>>> ...

    2024-02-01 06:50:41
  • Elastic:培训视频

    在这篇文章中,我将会把我写的有些内容录制成视频,供大家参考。希望对大家有所帮助。优酷的视频频道地址在这里,B站频道Elastic 简介及Elastic Stack 安装:优酷,腾讯,B站 Elasti...

    2024-02-01 06:50:11
  • 平台级 SAAS 架构的基础:统一身份管理系统

    平台级 SAAS 架构的基础:统一身份管理系统

    为什么80%的码农都做不了架构师?>>> ...

    2024-02-01 06:50:04
  • DVWA靶场存储型XSS漏洞实验

    DVWA靶场存储型XSS漏洞实验

    提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言 一、pandas是什么? 二、使用步骤 1.引入库 2.读入数据 总结 前言 来自菜鸟的一次简单分享,本次实验主要结合...

    2024-02-01 06:49:56
  • 通过socket通讯控制ur机械臂

    通过socket通讯控制ur机械臂1.socket客户端(连接机械臂)2.控制机械臂运动(发送控制指令)3. 实时 以前一直使用ros跟机械臂打交道,但在使用moveit控制机械臂运动的时候会出现一些...

    2024-02-01 06:49:28
  • 阿里巴巴JarsLink整理

    阿里巴巴JarsLink整理

    一、框架整体类图结构JarsLink整体主要类图二、类功能简介(1)Module类贯彻整个框架,在各个功能中进行传输(2)ModuleLoader接口定义了模块加载的功能,即是将模块加载到新定义的Cl...

    2024-02-01 06:49:20
  • 分布式计算框架

    1、产生背景Web2.0时代,数据爆炸式、指数级增长,大数据分布式计算需求频繁通过单机内存扩展来增强计算能力,已经无法承载大规模数据量的计算分布式计算开发和维护的复杂与多变,对程序员要求太高Googl...

    2024-02-01 06:49:12
  • 第三十八章 立方体贴图和GLSL总结

    第三十八章 立方体贴图和GLSL总结

    2024-02-01 06:49:05
  • Linux 安装Apache 记录

    Linux 安装Apache 记录

    linux下Apache源码编译安装1.下载并安装APR  http://apr.apache.org/wget -c http://mirrors.hust.edu.cn/apache//apr/apr-1.6.2.tar.bz2执行解压命令 tar -xjvf 文件名 解压后切换到目录执行命令配置 :./configure --prefix=/usr/l

    2024-02-01 06:48:35
  • Eclipse RCP入门(创建一个日期选择器)

    直接上代码。 [code="java"]package org.autumn.rcp.learn; import java.util.Calendar; import java.u...

    2024-02-01 06:47:56