ListBoxFile Processor
描述
列出 Box 文件夹中的文件。 每个列出的文件可能会产生一个 FlowFile,元数据被写入 FlowFile 属性。 或者 - 如果设置了“Record Writer”属性 - 整个结果将作为记录写入单个 FlowFile。 该处理器设计为仅在集群中的主节点上运行。 如果主节点发生变化,新的主节点将继续前一个节点停止的位置,而不会复制所有数据。
标签
属性
| 名称 | 默认值 | 可选值 | 描述 |
|---|---|---|---|
| Box Client Service | | 控制器服务 API:BoxClientServicecn.org.acal.lynxus-lynxus-box-services-api-nar-2.11.8 | Controller Service用于获取 Box API 连接。 |
| Folder ID | | 要从中提取文件列表的文件夹的 ID。 支持表达式语言:是(仅使用环境/系统变量求值) | |
| Search Recursively | true |
| 当为 'true' 时,将包含子文件夹中的文件列表。否则,将仅返回在「Folder ID」属性定义的文件夹内的文件。 |
| Minimum File Age | 0 sec | 文件必须达到的最低年龄才能被考虑; 任何比这更年轻的文件都将被忽略。 | |
| Listing Strategy | timestamps |
| 指定如何确定新的/更新的实体。 有关详细信息,请参阅每个策略的说明。 |
| Entity Tracking State Cache | | 控制器服务 API:DistributedMapCacheClientcn.org.acal.lynxus-lynxus-standard-services-api-nar-2.11.8 | 已列出的实体存储在指定的缓存中, 以便该处理器能够在 Lynxus 重启或主节点变更后恢复列举。 'Tracking Entities' 策略需要跟踪最近 'Tracking Time Window' 内所有已列出实体的信息。 为支持大量实体,该策略使用 DistributedMapCache 而非托管状态。 缓存键格式为 'ListedEntities::{processorId}(::{nodeId})'。 如果按节点跟踪已列出的实体,则会添加可选的 '::{nodeId}' 部分以分别管理状态。 例如,集群范围缓存键 = 'ListedEntities::8dda2321-0164-1000-50fa-3042fe7d6a7b', 单节点缓存键 = 'ListedEntities::8dda2321-0164-1000-50fa-3042fe7d6a7b::lynxus-node3'。 存储的缓存内容是经过 Gzip 压缩的 JSON 字符串。 当目标列举配置发生变化时,缓存键将被删除。 由 'Tracking Entities' 策略使用。 |
| Entity Tracking Time Window | 3 hours | 指定该处理器应跟踪已列出实体的时长。 'Tracking Entities' 策略可以选取时间戳位于指定时间窗口内的任何实体。 例如,若设为 '30 minutes',则该处理器运行时,最近 30 分钟内带有时间戳的任何实体都将成为列举目标。 当满足以下任一条件时,已列出的实体被视为 'new/updated' 并发出一个 FlowFile: 1. 不存在于已列出的实体中, 2. 时间戳比缓存的实体更新, 3. 大小与缓存的实体不同。 如果某个缓存实体的时间戳早于指定的时间窗口,该实体将从缓存的已列出实体中移除。 由 'Tracking Entities' 策略使用。 支持表达式语言:是(仅使用环境/系统变量求值) | |
| Entity Tracking Initial Listing Target | all |
| 指定应如何处理初始列举。 由 'Tracking Entities' 策略使用。 |
| Record Writer | | 控制器服务 API:RecordSetWriterFactorycn.org.acal.lynxus-lynxus-standard-services-api-nar-2.11.8 | 指定用于创建列表的记录写入器。如果未指定,将为每个列出的实体创建一个 FlowFile。如果指定了记录写入器,所有实体将写入单个 FlowFile,而不是将属性添加到各个 FlowFile。 |
关系 (Relationships)
| 名称 | 描述 | 自动终止 |
|---|---|---|
success | 所有收到的 FlowFiles 都会成功路由 | 否 |
写入的 FlowFile 属性
| 名称 | 描述 |
|---|---|
box.id | 文件的 ID |
filename | 文件的名称 |
path | 文件所在的文件夹路径 |
box.size | 文件的大小 |
box.timestamp | 文件的最后修改时间 |
状态管理
| 作用域 | 描述 |
|---|---|
| CLUSTER | 处理器存储必要的数据,以便能够跟踪已列出的文件。 What exactly needs to be stored depends on the 'Listing Strategy'. |
受限 (Restricted)
该组件不受限。
输入要求
该组件不允许有传入连接。
另请参阅
详细说明
ListBoxFile
在 Lynxus 中列出 Box 文件夹
- 找到 Folder ID
- 在 Box 中找到要列出的文件夹并进入。浏览器中的
URL 末尾会包含 ID。例如,如果 URL 是
https://app.box.com/folder/191632099757,那么 Folder ID 就是191632099757
- 在 Box 中找到要列出的文件夹并进入。浏览器中的
URL 末尾会包含 ID。例如,如果 URL 是
- 在 'Folder ID' 属性中设置 Folder ID