FetchS3Object

FetchS3Object Processor

类型全限定名：cn.org.acal.lynxus.processors.aws.s3.FetchS3Object

所属 Bundle：cn.org.acal.lynxus:lynxus-aws-nar:2.11.8

描述

检索 S3 对象的内容并将其写入 FlowFile 的内容

标签

使用场景

从 S3 获取特定文件

"Bucket" 属性应设置为包含该文件的 S3 存储桶的名称。通常这被定义为传入 FlowFile 上的一个属性， 因此此属性设置为 `${s3.bucket}`。
"Object Key" 属性表示要获取的文件的完全限定文件名。通常使用 FlowFile 的 `filename` 属性，因此此属性 设置为 `${filename}`。
必须设置 "Region" 属性以指示 Bucket 所在的 S3 区域。如果要构建的流程将在其他地方重用，最好通过将其设置为类似 `#{S3_REGION}` 的值来参数化 此属性。

"AWS Credentials Provider service" 属性应指定一个 AWSCredentialsProviderControllerService 实例，以便为访问该文件提供凭据。

多处理器协同场景

检索 S3 存储桶中的所有文件

配置 ListS3：

"Bucket" 属性应设置为文件所在 S3 存储桶的名称。如果要构建的流程将在其他地方重用，最好通过将其设置为类似 `#{S3_SOURCE_BUCKET}` 的值来参数化     此属性。
必须设置 "Region" 属性以指示 Bucket 所在的 S3 区域。如果要构建的流程将在其他地方重用，最好通过将其设置为类似 `#{S3_SOURCE_REGION}` 的值来参数化     此属性。

"AWS Credentials Provider service" 属性应指定一个 AWSCredentialsProviderControllerService 实例，以便为访问存储桶提供凭据。

然后将此处理器的 'success' Relationship 连接到 FetchS3Object。

配置 FetchS3Object：

"Bucket" = "${s3.bucket}"
"Object Key" = "${filename}"

"AWS Credentials Provider service" 属性应指定一个 AWSCredentialsProviderControllerService 实例，以便为访问存储桶提供凭据。

必须将 "Region" 属性设置为与 ListS3 处理器的 "Region" 属性相同的值。

仅从 S3 检索符合某些指定条件的文件

配置 ListS3：

"Bucket" 属性应设置为文件所在 S3 存储桶的名称。如果要构建的流程将在其他地方重用，最好通过将其设置为类似 `#{S3_SOURCE_BUCKET}` 的值来参数化     此属性。
必须设置 "Region" 属性以指示 Bucket 所在的 S3 区域。如果要构建的流程将在其他地方重用，最好通过将其设置为类似 `#{S3_SOURCE_REGION}` 的值来参数化     此属性。

"AWS Credentials Provider service" 属性应指定一个 AWSCredentialsProviderControllerService 实例，以便为访问存储桶提供凭据。

然后将此处理器的 'success' Relationship 连接到 RouteOnAttribute。

配置 RouteOnAttribute：

如果你想将所有条件进行“或”（OR）组合（即只要满足任一条件就应检索该文件）， 将 "Routing Strategy" 设置为 "Route to 'matched' if any matches"。
如果你想将所有条件进行“与”（AND）组合（即只有在满足所有条件时才检索该文件）， 将 "Routing Strategy" 设置为 "Route to 'matched' if all match"。

对于你想据以过滤的每个条件，添加一个新属性。该属性的名称应描述该条件。 该属性的值应是一个 Expression Language 表达式，当文件满足条件时返回 `true`， 当文件不满足条件时返回 `false`。

你可能考虑据以过滤的一些属性有：
- `filename`（文件的名称）
- `s3.length`（文件中的字节数）
- `s3.tag.<tag name>`（名为 `tag name` 的 s3 标签的值）
- `s3.user.metadata.<key name>`（键名为 `key name` 的用户元数据的值）

例如，要仅获取至少 1 MB 且文件名以 `.zip` 结尾的文件，我们将设置以下属性：
- "Routing Strategy" = "Route to 'matched' if all match"
- "At least 1 MB" = "${s3.length:ge(1000000)}"
- "Ends in .zip" = "${filename:endsWith('.zip')}"

自动终止（Auto-terminate）`unmatched` Relationship。
将 `matched` Relationship 连接到 FetchS3Object 处理器。

配置 FetchS3Object：

"Bucket" = "${s3.bucket}"
"Object Key" = "${filename}"

"AWS Credentials Provider service" 属性应指定一个 AWSCredentialsProviderControllerService 实例，以便为访问存储桶提供凭据。

必须将 "Region" 属性设置为与 ListS3 处理器的 "Region" 属性相同的值。

在 S3 存储桶中新文件到达时检索

说明：这种从 S3 检索文件的方法比使用 ListS3 更高效且更具成本效益。这是 AWS 推荐的模式。 但是，它确实要求将 S3 存储桶配置为在新文件到达时将通知放入 SQS 队列。有关更多信息，请参阅 https://docs.aws.amazon.com/AmazonS3/latest/userguide/ways-to-add-notification-config-to-bucket.html

配置 GetSQS：

必须将 "Queue URL" 设置为 SQS 队列的适当 URL。建议使用诸如 `#{SQS_QUEUE_URL}` 之类的值将此属性参数化。
必须设置 "Region" 属性以指示队列所在的 SQS 区域。最好通过将其设置为类似 `#{SQS_REGION}` 的值来参数化此属性。

"AWS Credentials Provider service" 属性应指定一个 AWSCredentialsProviderControllerService 实例，以便为访问存储桶提供凭据。

'success' 关系连接到 EvaluateJsonPath。

配置 EvaluateJsonPath：

"Destination" = "flowfile-attribute"
"s3.bucket" = "$.Records[0].s3.bucket.name"
"filename" = "$.Records[0].s3.object.key"

'success' 关系连接到 FetchS3Object。

配置 FetchS3Object：

"Bucket" = "${s3.bucket}"
"Object Key" = "${filename}"

必须将 "Region" 属性设置为与 GetSQS 处理器的 "Region" 属性相同的值。
"AWS Credentials Provider service" 属性应指定一个 AWSCredentialsProviderControllerService 实例，以便为访问存储桶提供凭据。

属性

下表中，加粗的属性为必填项；其余为可选项。表格同时标注默认值、是否支持表达式语言，以及是否为敏感属性（值会被加密）。

关系 (Relationships)

写入的 FlowFile 属性

状态管理

该组件不存储状态。

受限 (Restricted)

该组件不受限。

输入要求

该组件要求有传入连接。

另请参阅

• PutS3Object
• DeleteS3Object
• ListS3
• CopyS3Object
• GetS3ObjectMetadata
• GetS3ObjectTags
• TagS3Object