AWSLambda用于事件驱动的数据处理管道

时间:2021-02-26 09:18:06
【文件属性】:
文件名称:AWSLambda用于事件驱动的数据处理管道
文件大小:162KB
文件格式:PDF
更新时间:2021-02-26 09:18:06
AWSLambda用于事件驱动的数据处理管道 一些大数据客户想分析新数据以对特定事件作出响应,他们可能已经定义好管道来执行批处理操作,这些管道是由AWSDataPipeline精心协调安排的。一些大数据客户想分析新数据以对特定事件作出响应,他们可能已经定义好管道来执行批处理操作,这些管道是由AWSDataPipeline精心协调安排的。事件触发管道的示例之一就是当数据分析师在一收到数据就必须对其进行分析时,以便他们可以立刻向合作伙伴作出相应。在这种情况下调度不是最优的解决方案,主要问题是如何在任意时间使用依赖于调度程序的DataPipeline调度数据处理过程。这里有一个解决方案。首先,创建一个简单的管道,使用来自AmazonS3的数据对

网友评论