使用 Amazon Redshift 构建的数据管道的 15 个示例

barikulislam015

在 Integrate.io，我们与构建 数据管道的公司合作。有些在Amazon Redshift等平台上开始云原生 ，而另一些则从本地或混合解决方案迁移。他们的共同点是他们一开始就问我们一个问题： “其他公司如何构建数据管道？” 因此，我们决定编制并发布一系列关于公司如何构建数据管道的公开博客文章。在这些帖子中，这些公司详细讨论了他们如何在业务中使用数据以及他们如何变得以数据为中心。真空脚本将不再可用。 Amazon Redshift 已自动执行真空处理，因此不再需要手动真空处理。对于仍需要手动清理的用户，Amazon Redshift 在其脚本存储库中提供了帮助程序脚本（位于此链接）。

将不支持表大小和架构信息 借助新的RA3 实例类型，Amazon Redshift 正在转向存储和计算可以单独扩展的模型。因此，不太需要跟踪表有多大，因为集群应该自动扩展以处理任何大小的存储 电子邮件营销列表 需求。在Integrate.io产品中，“表存储”和“表分析”中的图表将不再可用。要查看表大小，Amazon Redshift 提供了简单的脚本，可通过此链接获取表及其大小的列表。 我需要重新安装集群吗？ 不会。现有数据仓库中的数据将在新产品体验中可用。定义新作业时，只需在“作业”页面中将其选择为“源”即可。 我的团队知道吗？ 是的。我们已经向每个人发送了一封电子邮件，并且还在当前产品中添加了一个横幅，其中包含新产品的链接。 我们考察的 15 家公司是： 目录 1. 简单 2. 清除比特 3. 500像素 4. Netflix 5. 叫喊 6. 热情 7. 茶杯 8. 提醒 9. 罗宾汉 10. 美元剃须俱乐部 11. 课程 12.愿望 13. 眨眼者 14. 哈洛多克 15. iHeartRadio 您将如何构建数据管道？ 如果我们错过了您的帖子，我们很乐意将其包含在内。只需 填写此表格，这将花费您不到一分钟的时间。



接下来，请了解来自世界上最以数据为中心的公司的 15 个数据管道示例。 1. 简单 数据驱动是 Simple 的主要目标。对于整个公司来说，能够在内部访问数据非常重要。分析和工程团队不必从一个问题跳到另一个问题，而是通过遍布公司所有部门的统一数据架构来构建统一的分析方式。 主要问题是如何从多个来源获取数据、处理数据、将其存储在中央数据仓库中，并将其呈现给整个公司的员工。与当今的许多解决方案类似，数据先从多个来源摄取到 Kafka，然后再传递到计算和存储系统。 选择的仓库是Redshift，选择它是因为它的 SQL 接口以及处理 PB 数据的便捷性。报告、分析和可视化由Periscope Data提供支持。通过这种方式，数据很容易分布在不同的团队中，使他们能够根据数据做出决策。 资料来源： 清除比特 当 Clearbit 开始考虑扩展其数据基础设施和分析时，它是一家快速发展的早期初创公司。