FetchAzureDataLakeStorage

FetchAzureDataLakeStorage Processor

类型全限定名：cn.org.acal.lynxus.processors.azure.storage.FetchAzureDataLakeStorage

所属 Bundle：cn.org.acal.lynxus:lynxus-azure-nar:2.11.8

描述

从 Azure Data Lake Storage 获取指定文件

多处理器协同场景

检索 Azure DataLake Storage 目录中的所有文件

azuredatalakeadlsstateretrievefetchallstream

配置 ListAzureDataLakeStorage：

"Filesystem Name" 属性应设置为文件所在 Azure 文件系统（也称为容器）的名称。     如果要构建的流程将在其他地方重用，最好通过将其设置为类似 `#{AZURE_FILESYSTEM}` 的值来参数化此属性。
配置 "Directory Name" 属性以指定文件系统中目录的名称。     如果要构建的流程将在其他地方重用，最好通过将其设置为类似 `#{AZURE_DIRECTORY}` 的值来参数化此属性。

"ADLS Credentials" 属性应指定一个 ADLSCredentialsService 实例，以便为访问文件系统提供凭据。

然后将此处理器的 'success' Relationship 连接到 FetchAzureDataLakeStorage。

配置 FetchAzureDataLakeStorage：

"Filesystem Name" = "${azure.filesystem}"
"Directory Name" = "${azure.directory}"
"File Name" = "${azure.filename}"

"ADLS Credentials" 属性应指定一个 ADLSCredentialsService 实例，以便为访问文件系统提供凭据。

属性

下表中，加粗的属性为必填项；其余为可选项。表格同时标注默认值、是否支持表达式语言，以及是否为敏感属性（值会被加密）。

名称	默认值	可选值	描述
ADLS Credentials		控制器服务 API： `ADLSCredentialsService` cn.org.acal.lynxus-lynxus-azure-services-api-nar-2.11.8	用于获取 Azure 凭据的Controller Service。
Filesystem Name			Azure 存储文件系统（也称为容器）的名称。假设它已经存在。支持表达式语言：是（使用 FlowFile 属性与环境/系统变量求值）
Directory Name			Azure 存储目录的名称。目录名称不能包含前导 '/'。根目录可以用空字符串值表示。对于 PutAzureDataLakeStorage 处理器，目录是文件系统路径。支持表达式语言：是（使用 FlowFile 属性与环境/系统变量求值）
File Name	`${azure.filename}`		文件名支持表达式语言：是（使用 FlowFile 属性与环境/系统变量求值）
Range Start			开始从对象读取的字节位置。空值或零值将从对象开头开始读取。支持表达式语言：是（使用 FlowFile 属性与环境/系统变量求值）
Range Length			从对象下载字节数，从范围起始位置开始。空值或超出对象末尾的值将读取到对象末尾。支持表达式语言：是（使用 FlowFile 属性与环境/系统变量求值）
Number of Retries	`0`		下载失败时自动重试的次数。支持表达式语言：是（使用 FlowFile 属性与环境/系统变量求值）
Proxy Configuration Service		控制器服务 API： `ProxyConfigurationService` cn.org.acal.lynxus-lynxus-standard-services-api-nar-2.11.8	指定代理配置 Controller Service 来代理网络请求。对于 SOCKS，不保证处理器一定会使用所选的 SOCKS 版本。

关系 (Relationships)

名称	描述	自动终止
`failure`	由于某种原因无法写入 Azure 存储的文件将传输到此关系	否
`success`	已成功写入 Azure 存储的文件将传输到此关系	否

写入的 FlowFile 属性

名称	描述
`azure.datalake.storage.statusCode`	失败操作的 HTTP 错误代码（如果有）
`azure.datalake.storage.errorCode`	失败操作的 Azure Data Lake Storage 绰号
`azure.datalake.storage.errorMessage`	来自失败操作的 Azure Data Lake Storage 错误消息

状态管理

该组件不存储状态。

受限 (Restricted)

该组件不受限。

输入要求

该组件要求有传入连接。