ValidateRecord

Force Types From Reader's Schema 属性效果的示例

该 Processor 首先使用指定的 Record Reader（使用某个 schema）读取传入 FlowFile 中的数据。 然后，根据 Schema Access Strategy 属性的值，Processor 可以使用 Reader 的 schema， 也可以使用另一个 schema 来校验数据。之后，Processor 使用指定的 Record Writer 把数据写入 输出 FlowFile。如果数据合法，Writer 使用校验用的 schema；如果数据不合法，Writer 使用 Reader 的 schema。Force Types From Reader's Schema 属性影响第一步：从传入 FlowFile 读取数据时，应多么严格地应用 Reader 的 schema。通过影响数据的读取方式，该属性的值 也会影响 ValidateRecord Processor 的输出，以及输出是被转发到 valid 还是 invalid Relationship。下面两个示例中，该属性的值对输出产生了显著影响。

在两个示例中，输入都是 XML 格式，输出都是 JSON。示例中假设读取、校验和写入使用同一个 schema。

示例 1

Schema：

{
  "namespace": "lynxus",
  "name": "test",
  "type": "record",
  "fields": [
    {
      "name": "field1",
      "type": "string"
    },
    {
      "name": "field2",
      "type": "string"
    }
  ]
}

输入：

<test>
    <field1>
        <sub_field>content</sub_field>
    </field1>
    <field2>content_of_field_2</field2>
</test>

Force Types From Reader's Schema = true 时的输出（转发到 invalid Relationship）：

[
  {
    "field2": "content_of_field_2"
  }
]

Force Types From Reader's Schema = false 时的输出（转发到 invalid Relationship）：

[
  {
    "field1": {
      "sub_field": "content"
    },
    "field2": "content_of_field_2"
  }
]

可以看到，由于输入数据与提供的 Avro schema 不匹配，两种情况下 FlowFile 都被转发到 invalid Relationship。区别在于：如果 Force Types From Reader's Schema = true， 输出中只出现符合 schema 的字段；如果 Force Types From Reader's Schema = false， 无论字段是否符合 schema，都会出现在输出中。

示例 2

Schema：

{
  "namespace": "lynxus",
  "name": "test",
  "type": "record",
  "fields": [
    {
      "name": "field1",
      "type": {
        "type": "array",
        "items": "string"
      }
    },
    {
      "name": "field2",
      "type": {
        "type": "array",
        "items": "string"
      }
    }
  ]
}

输入：

<test>
    <field1>content_1</field1>
    <field2>content_2</field2>
    <field2>content_3</field2>
</test>

Force Types From Reader's Schema = true 时的输出（转发到 valid Relationship）：

[
  {
    "field1": [
      "content_1"
    ],
    "field2": [
      "content_2",
      "content_3"
    ]
  }
]

Force Types From Reader's Schema = false 时的输出（转发到 invalid Relationship）：

[
  {
    "field1": "content_1",
    "field2": [
      "content_2",
      "content_3"
    ]
  }
]

Schema 期望两个字段（field1 和 field2），类型都是 ARRAY。field1 在输入 XML 文档中 只出现了一次。如果 Force Types From Reader's Schema = true，Processor 会强制该 字段转换为符合 schema 的类型，即把它放入一个只有一个元素的数组中。由于这种类型强制转换 可以完成，输出被路由到 valid Relationship。如果 Force Types From Reader's Schema = false，Processor 不会尝试类型强制转换，因此 field1 在输出中显示为单个值。 按 schema，Processor 期望 field1 是一个数组，但收到的是单个元素，所以输出被路由到 invalid Relationship。

是否符合 schema（以及被路由到 valid 还是 invalid Relationship）与用哪个 Writer 产生 ValidateRecord Processor 的输出无关。假设使用与示例 2 相同的 schema 和输入，但用 XMLRecordSetWriter 代替 JsonRecordSetWriter 产生输出。 无论 Force Types From Reader's Schema = true 还是 = false，输出都是：

<test>
    <field1>content_1</field1>
    <field2>content_2</field2>
    <field2>content_3</field2>
</test>

不过，如果 Force Types From Reader's Schema = true，该输出被路由到 valid Relationship；如果 Force Types From Reader's Schema = false，则被路由到 invalid Relationship。