PartitionRecord

PartitionRecord 允许用户把 FlowFile 中的记录分离出去，使每个输出 FlowFile 只包含彼此"相似"的 记录。为了定义两条记录怎样才算相似，该 Processor 使用 Lynxus 的 RecordPath DSL。

要使 Processor 有效，至少要为它添加一个用户自定义属性，属性值必须是合法的 RecordPath。 支持表达式语言（Expression Language），并会在尝试编译 RecordPath 之前先对其求值。 不过，如果使用了表达式语言，Processor 无法事先校验 RecordPath，若使用时 RecordPath 不合法，可能导致 FlowFile 处理失败。

添加一个或多个 RecordPath 之后，这些 RecordPath 会对传入 FlowFile 中的每条记录求值。 要使记录 A 与记录 B 被视为"相似记录"，它们在所有已配置的 RecordPath 上必须具有相同的值。 只有 RecordPath 返回的值会保存在 Java 堆中，记录本身会立即写入 FlowFile 内容。这意味着在 大多数情况下不必担心堆的使用。但是，如果 RecordPath 指向一个在 FlowFile 内每条记录都 不同的大型 Record 字段，堆的使用就可能成为一个重要考量。在这种情况下，可以借助 SplitRecord 在分区之前把大 FlowFile 拆分成较小的 FlowFile。

一旦写出某个 FlowFile，我们就知道该 FlowFile 内的所有记录在已配置 RecordPath 所描述的 字段上具有相同的值。因此可以把这些值提升为 FlowFile Attribute。做法是查看每个 RecordPath 所归属的属性名。例如，如果有一个名为 country、值为 /geo/country/name 的属性，那么每个输出 FlowFile 都会有一个名为 country、值为 /geo/country/name 字段值的 Attribute。添加这些 Attribute 使得执行路由等任务，或者在另一个可用于配置数据 发送目的地的 Processor 中引用该值，都变得非常容易。不过，对于值不是标量的 RecordPath（即值的类型为 Array、Map 或 Record），不会添加 Attribute。

示例

为了更好地理解该 Processor 的工作方式，我们给出几个示例。为了便于说明，假设输入数据是 JSON 格式，内容如下：

[
  {
    "name": "John Doe",
    "dob": "11/30/1976",
    "favorites": [
      "spaghetti",
      "basketball",
      "blue"
    ],
    "locations": {
      "home": {
        "number": 123,
        "street": "My Street",
        "city": "New York",
        "state": "NY",
        "country": "US"
      },
      "work": {
        "number": 321,
        "street": "Your Street",
        "city": "New York",
        "state": "NY",
        "country": "US"
      }
    }
  },
  {
    "name": "Jane Doe",
    "dob": "10/04/1979",
    "favorites": [
      "spaghetti",
      "football",
      "red"
    ],
    "locations": {
      "home": {
        "number": 123,
        "street": "My Street",
        "city": "New York",
        "state": "NY",
        "country": "US"
      },
      "work": {
        "number": 456,
        "street": "Our Street",
        "city": "New York",
        "state": "NY",
        "country": "US"
      }
    }
  },
  {
    "name": "Jacob Doe",
    "dob": "04/02/2012",
    "favorites": [
      "chocolate",
      "running",
      "yellow"
    ],
    "locations": {
      "home": {
        "number": 123,
        "street": "My Street",
        "city": "New York",
        "state": "NY",
        "country": "US"
      },
      "work": null
    }
  },
  {
    "name": "Janet Doe",
    "dob": "02/14/2007",
    "favorites": [
      "spaghetti",
      "reading",
      "white"
    ],
    "locations": {
      "home": {
        "number": 1111,
        "street": "Far Away",
        "city": "San Francisco",
        "state": "CA",
        "country": "US"
      },
      "work": null
    }
  }
]

示例 1 - 按简单字段分区

举一个简单的例子，按记录所居住的州（state）对所有记录进行分区。可以添加一个名为 state、值为 /locations/home/state 的属性。结果会产生两个输出 FlowFile。第一个 包含一个名为 state、值为 NY 的 Attribute，由 3 条记录组成：John Doe、Jane Doe 和 Jacob Doe。第二个 FlowFile 只包含 Janet Doe 一条记录，并包含一个名为 state、 值为 CA 的 Attribute。

示例 2 - 按可为 null 的值分区

在上面的示例中，工作地点（work location）有三个不同的值。如果使用属性名 state、 值为 /locations/work/state 的 RecordPath，会得到两个不同的 FlowFile。第一个包含 John Doe 和 Jane Doe 的记录，因为它们在给定 RecordPath 上具有相同的值。该 FlowFile 会有一个名为 state、值为 NY 的 Attribute。

第二个 FlowFile 包含 Jacob Doe 和 Janet Doe 两条记录，因为该 RecordPath 对两者 求值都为 null。该 FlowFile 不会有 state Attribute（除非传入 FlowFile 上原本就 存在这样的 Attribute，此时其值保持不变）。

示例 3 - 按多个值分区

现在假设我们想根据多个不同的字段对记录进行分区。我们给 PartitionRecord Processor 添加两个属性：第一个名为 home，值为 /locations/home；第二个名为 favorite.food， 值为 /favorites[0]，用于引用 "favorites" 数组的第一个元素。

这会产生三个不同的 FlowFile。第一个包含 John Doe 和 Jane Doe 的记录，并包含一个 名为 "favorite.food"、值为 "spaghetti" 的 Attribute。不过，由于第二个 RecordPath 指向的是一个 Record 字段，不会添加 "home" Attribute。在这个例子中，这两条记录的 "favorites" 数组第一个元素和家庭住址都相同。Janet Doe 的 "favorites" 数组第一个 元素相同，但家庭住址不同；同样地，Jacob Doe 的家庭住址相同，但最喜欢的食物不同。

第二个 FlowFile 只包含一条记录：Jacob Doe。该 FlowFile 会有一个名为 "favorite.food"、值为 "chocolate" 的 Attribute。第三个 FlowFile 只包含一条记录： Janet Doe。该 FlowFile 会有一个名为 "favorite.food"、值为 "spaghetti" 的 Attribute。