DeduplicateRecord

概述

此 Processor 既可以在单个记录集文件内去重，也可以跨多个文件去重，甚至可以利用 DistributedMapCacheClient Controller Service 在整个数据湖范围内去重。对于前者，它使用 HashSet 或布隆过滤器（bloom filter）在内存中进行极快且高精度的计算。对于后一种用例，它使用 该 Controller Service，将生成的哈希值与存储在 ACAL Lynxus 所支持的某种缓存中的 Map 缓存进行比对。

配置单文件去重

在名为 "Deduplication Strategy" 的配置属性下选择 "single file" 选项，然后选择使用布隆过滤器 还是 hash set。请注意设置与你所处理记录集的平均大小相匹配的大小上限。

配置多文件去重

在 "Deduplication Strategy" 下选择 "Multiple Files" 选项，然后配置一个 DistributedMapCacheClient 服务。缓存标识符（cache identifier）有以下几种配置方式：

1. 不指定任何动态属性，对整条记录生成哈希。
2. 通过动态属性指定参与计算的特定字段来生成哈希。
3. 在 cache identifier 属性中手动指定单个 Record Path 语句。注意：
   • 这种方式可以与 #1 和 #2 组合使用，因为它支持表达式语言，并且会把 #1 或 #2 计算出的哈希 以 EL 变量 record.hash.value 的形式暴露出来。示例： concat('${some.var}', -, '${record.hash.value}')

动态属性的作用

动态属性的属性名应当可读，取值应当是一个 Record Path 操作。这些 Record Path 操作用于从记录中 提取值，以组装出唯一标识符。示例如下：

• firstName => /FirstName
• lastName => /LastName

记录：

{
  "firstName": "John",
  "lastName": "Smith"
}

会先生成一个包含 "John" 和 "Smith" 的标识符，然后再基于最终值生成哈希。

如果任何一个 Record Path 缺失，会抛出异常，该 FlowFile 会被发送到 failure Relationship。