ListGCSBucket

流式处理与批处理

ListGCSBucket 会对所配置 GCS 桶中遇到的所有 GCS 对象执行列表（listing） 操作。常见的用例大致分为两类。

流式用例

默认情况下，该 Processor 会为桶中的每个对象创建一个独立的 FlowFile，并添加 filename、bucket 等 Attribute。一个常见用法是把 ListGCSBucket 连接到 FetchGCSObject Processor。这两个 Processor 配合使用，可以方便地监视桶，并在任何新对象到达 GCS 时以高效的 流式方式获取其内容。

批处理用例

另一个常见用例是：希望处理给定桶中所有新到达的对象，并且只有当 所有对象都处理完成之后才执行某些操作。上述流式数据的处理方式使 这一点变得困难，因为 Lynxus 本质上是一个流式平台，不存在有明确 起点和终点的"作业"，数据只是在可用时被拾取。

为解决这个问题，ListGCSBucket Processor 可以可选地配置 Record Writer。配置后，只会创建单个 FlowFile，其中为桶中的每个 对象包含一条记录，而不是每个对象一个 FlowFile。关于如何构建 "先处理完所有对象再进入下一步"的数据流，可参考 ListFile 的文档示例。

不过，ListFile 与 ListGCSBucket 产生的数据有一个重要区别：两者 输出的记录结构不同。ListGCSBucket 输出的记录遵循以下 schema （Avro 格式）：

{
  "type": "record",
  "name": "lynxusRecord",
  "namespace": "cn.org.acal.lynxus",
  "fields": [
    {
      "name": "bucket",
      "type": "string"
    },
    {
      "name": "name",
      "type": "string"
    },
    {
      "name": "size",
      "type": [
        "null",
        "long"
      ]
    },
    {
      "name": "cacheControl",
      "type": [
        "null",
        "string"
      ]
    },
    {
      "name": "componentCount",
      "type": [
        "null",
        "int"
      ]
    },
    {
      "name": "contentDisposition",
      "type": [
        "null",
        "long"
      ]
    },
    {
      "name": "contentEncoding",
      "type": [
        "null",
        "string"
      ]
    },
    {
      "name": "contentLanguage",
      "type": [
        "null",
        "string"
      ]
    },
    {
      "name": "crc32c",
      "type": [
        "null",
        "string"
      ]
    },
    {
      "name": "createTime",
      "type": [
        "null",
        {
          "type": "long",
          "logicalType": "timestamp-millis"
        }
      ]
    },
    {
      "name": "updateTime",
      "type": [
        "null",
        {
          "type": "long",
          "logicalType": "timestamp-millis"
        }
      ]
    },
    {
      "name": "encryptionAlgorithm",
      "type": [
        "null",
        "string"
      ]
    },
    {
      "name": "encryptionKeySha256",
      "type": [
        "null",
        "string"
      ]
    },
    {
      "name": "etag",
      "type": [
        "null",
        "string"
      ]
    },
    {
      "name": "generatedId",
      "type": [
        "null",
        "string"
      ]
    },
    {
      "name": "generation",
      "type": [
        "null",
        "long"
      ]
    },
    {
      "name": "md5",
      "type": [
        "null",
        "string"
      ]
    },
    {
      "name": "mediaLink",
      "type": [
        "null",
        "string"
      ]
    },
    {
      "name": "metageneration",
      "type": [
        "null",
        "long"
      ]
    },
    {
      "name": "owner",
      "type": [
        "null",
        "string"
      ]
    },
    {
      "name": "ownerType",
      "type": [
        "null",
        "string"
      ]
    },
    {
      "name": "uri",
      "type": [
        "null",
        "string"
      ]
    }
  ]
}