ExtractAvroMetadata

文档中心 › 组件索引 › ExtractAvroMetadata

ExtractAvroMetadata Processor

类型全限定名:cn.org.acal.lynxus.processors.avro.ExtractAvroMetadata

所属 Bundle:cn.org.acal.lynxus:lynxus-avro-nar:2.11.8

描述

从 Avro 数据文件的标头中提取元数据。

标签

avroschemametadata

属性

下表中,加粗的属性为必填项;其余为可选项。表格同时标注默认值、是否支持表达式语言,以及是否为敏感属性(值会被加密)。

名称默认值可选值描述
Fingerprint AlgorithmCRC-64-AVRO
  • CRC-64-AVRO
  • MD5
  • SHA-256
用于生成模式指纹的算法。可用选择基于 Avro 推荐的指纹生成最佳实践。
Metadata Keys指示要从 Avro 文件头中提取的键/值对的键的逗号分隔列表。键 'avro.schema' 可用于以 JSON 格式提取完整模式,'avro.codec' 可用于提取编解码器名称(如果存在)。
Count Itemsfalse
  • true
  • false
如果为 true,数据文件中的项目数将被计数并存储在 FlowFile 属性 'item.count' 中。计数通过读取块并获取每个块中的项目数来完成,从而避免反序列化。被计数的项目将是数据文件中的顶级项目。例如,对于类型为 record 的模式,项目将是记录;对于类型为 Array 的模式,项目将是数组(而不是每个数组中的条目数)。

关系 (Relationships)

名称描述自动终止
failure如果 FlowFile 无法解析为 Avro 或由于任何原因无法提取元数据,则会将其路由到此关系否
success提取元数据后,FlowFile 将路由到此关系。否

写入的 FlowFile 属性

名称描述
schema.type模式的类型(即记录、枚举等)。
schema.name当类型为 record、enum 或 fixed 时包含名称,否则包含基本类型的名称。
schema.fingerprint指纹算法的结果作为十六进制字符串。
item.count数据文件中的项目总数,仅在'计数项目'设置为 true 时写入。

状态管理

该组件不存储状态。

受限 (Restricted)

该组件不受限。

输入要求

该组件要求有传入连接。