DetectDuplicate

文档中心 › 组件索引 › DetectDuplicate

DetectDuplicate Processor

类型全限定名:cn.org.acal.lynxus.processors.standard.DetectDuplicate

所属 Bundle:cn.org.acal.lynxus:lynxus-standard-nar:2.11.8

描述

从 FlowFile 属性计算值,为每个传入 FlowFile 缓存该值,并确定

标签

hashdupeduplicatededupe

属性

下表中,加粗的属性为必填项;其余为可选项。表格同时标注默认值、是否支持表达式语言,以及是否为敏感属性(值会被加密)。

名称默认值可选值描述
Cache Entry Identifier${hash.value}一个 FlowFile 属性,或属性表达式语言(Attribute Expression Language)语句的结果;它将针对 FlowFile 求值,以确定用于识别重复项的值,被缓存的正是该值
支持表达式语言:是(使用 FlowFile 属性与环境/系统变量求值)
FlowFile 描述当 FlowFile 添加到缓存时,此值与其一起存储,以便如果找到重复项,原始 FlowFile 的此描述将添加到重复项的 "original.flowfile.description" 属性中
支持表达式语言:是(使用 FlowFile 属性与环境/系统变量求值)
Age Off Duration缓存 FlowFiles 老化的时间间隔
Distributed Cache Service控制器服务 API:
DistributedMapCacheClient
cn.org.acal.lynxus-lynxus-standard-services-api-nar-2.11.8
用于缓存唯一标识符的Controller Service,用于确定重复项
Cache The Entry Identifiertrue
  • true
  • false
当为 true 时,处理器将检查重复项并缓存条目标识符。当为 false 时,处理器仅检查重复项而不缓存条目标识符,需要另一个处理器将标识符添加到分布式缓存。

关系 (Relationships)

名称描述自动终止
duplicate如果检测到 FlowFile 重复,它将被路由到此关系否
failure如果无法与缓存通信,FlowFile将受到惩罚并路由到此关系否
non-duplicate如果在缓存中没有找到 FlowFile 的缓存条目标识符,它将被路由到此关系否

写入的 FlowFile 属性

名称描述
original.flowfile.description路由到 duplicate 关系的所有 FlowFile 将添加名为 original.flowfile.description 的属性。此属性的值由原始数据副本的属性和 FlowFile 描述属性确定。

状态管理

该组件不存储状态。

受限 (Restricted)

该组件不受限。

输入要求

该组件要求有传入连接。