FetchGCSObject Processor
描述
从 Google Cloud Bucket 中获取文件。 设计为与 ListGCSBucket 配合使用。
标签
多处理器协同场景
检索 Google Compute Storage (GCS) 存储桶中的所有文件
"Bucket" 属性应设置为文件所在 GCS 存储桶的名称。如果要构建的流程将在其他地方重用，最好通过将其设置为类似 `#{GCS_SOURCE_BUCKET}` 的值来参数化 此属性。
配置 "Project ID" 属性以反映你的 Google Compute Cloud 项目的 ID。
"GCP Credentials Provider Service" 属性应指定一个 GCPCredentialsService 实例，以便为访问存储桶提供凭据。
然后将此处理器的 'success' Relationship 连接到 FetchGCSObject。
"Bucket" = "${gcs.bucket}"
"Name" = "${filename}"
"GCP Credentials Provider Service" 属性应指定一个 GCPCredentialsService 实例，以便为访问存储桶提供凭据。
属性
| 名称 | 默认值 | 可选值 | 描述 |
|---|---|---|---|
| GCP Credentials Provider Service | | 控制器服务 API：GCPCredentialsServicecn.org.acal.lynxus-lynxus-gcp-services-api-nar-2.11.8 | 用于获取 Google Cloud Platform 凭据的Controller Service。 |
| Project ID | | 谷歌云项目 ID 支持表达式语言：是（仅使用环境/系统变量求值） | |
| Bucket | ${gcs.bucket} | 对象的存储桶。 支持表达式语言：是（使用 FlowFile 属性与环境/系统变量求值） | |
| Key | ${filename} | 对象的名称。 支持表达式语言：是（使用 FlowFile 属性与环境/系统变量求值） | |
| Object Generation | | 要下载的对象的生成。 如果未设置，将下载最新一代。 支持表达式语言：是（使用 FlowFile 属性与环境/系统变量求值） | |
| Server Side Encryption Key | | 对象已加密的 AES256 密钥（以 base64 编码）。 敏感属性：是 支持表达式语言：是（使用 FlowFile 属性与环境/系统变量求值） | |
| Range Start | | 开始从对象读取的字节位置。空值或零值将从对象开头开始读取。 支持表达式语言：是（使用 FlowFile 属性与环境/系统变量求值） | |
| Range Length | | 从对象下载字节数，从范围起始位置开始。空值或超出对象末尾的值将读取到对象末尾。 支持表达式语言：是（使用 FlowFile 属性与环境/系统变量求值） | |
| Number of Retries | 6 | 在路由到失败关系之前应进行多少次重试。 | |
| 存储 API URL | | 覆盖默认存储 URL。配置替代的存储 API URL 同时也会覆盖请求中的HTTP Host 头，如 Google 文档中关于私有服务连接的说明所述。 支持表达式语言：是（仅使用环境/系统变量求值） | |
| Proxy Configuration Service | | 控制器服务 API：ProxyConfigurationServicecn.org.acal.lynxus-lynxus-standard-services-api-nar-2.11.8 | 指定代理配置 Controller Service 来代理网络请求。 |
关系 (Relationships)
| 名称 | 描述 | 自动终止 |
|---|---|---|
failure | 如果 Google Cloud Storage 操作失败，FlowFiles 将路由到此关系。 | 否 |
success | 成功执行 Google Cloud Storage 操作后，FlowFiles 将路由到此关系。 | 否 |
写入的 FlowFile 属性
| 名称 | 描述 |
|---|---|
filename | 文件名，如果可能的话从 Content-Disposition 响应头中解析 |
gcs.bucket | 对象的存储桶。 |
gcs.key | 对象的名称。 |
gcs.size | 对象的大小。 |
gcs.cache.control | 对象的数据缓存控制。 |
gcs.component.count | 组成对象的组件数量。 |
gcs.content.disposition | 对象的数据内容处置。 |
gcs.content.encoding | 对象的内容编码。 |
gcs.content.language | 对象的内容语言。 |
mime.type | 对象的 MIME/Content-Type |
gcs.crc32c | 对象数据的 CRC32C 校验和，以 base64 大端序编码。 |
gcs.create.time | 对象的创建时间（毫秒） |
gcs.update.time | 对象的最后修改时间（毫秒） |
gcs.encryption.algorithm | 用于加密对象的算法。 |
gcs.encryption.sha256 | 用于加密对象的密钥的 SHA256 哈希值 |
gcs.etag | 对象的 HTTP 1.1 实体标签。 |
gcs.generated.id | 服务为对象生成的标识 |
gcs.generation | 对象的数据代。 |
gcs.md5 | 对象数据的 MD5 哈希值，以 base64 编码。 |
gcs.media.link | 对象的媒体下载链接。 |
gcs.metageneration | 对象的元代。 |
gcs.owner | 对象的所有者（上传者）。 |
gcs.owner.type | 对象上传者的 ACL 实体类型。 |
gcs.acl.owner | 具有对象所有者访问权限的 ACL 实体列表，以逗号分隔。实体可以是电子邮件地址、域名或项目 ID。 |
gcs.acl.writer | 具有对象写入访问权限的 ACL 实体列表，以逗号分隔。实体可以是电子邮件地址、域名或项目 ID。 |
gcs.acl.reader | 具有对象读取访问权限的 ACL 实体列表，以逗号分隔。实体可以是电子邮件地址、域名或项目 ID。 |
gcs.uri | 对象的 URI 字符串。 |
状态管理
该组件不存储状态。
受限 (Restricted)
该组件不受限。
输入要求
该组件要求有传入连接。