CompressContent

文档中心 › 组件索引 › CompressContent

CompressContent Processor

类型全限定名:cn.org.acal.lynxus.processors.standard.CompressContent

所属 Bundle:cn.org.acal.lynxus:lynxus-standard-nar:2.11.8

已废弃: 该组件已废弃,未来可能被移除。
建议改用:cn.org.acal.lynxus.processors.compress.ModifyCompression

描述

使用用户指定的压缩算法压缩或解压缩 FlowFiles 的内容,并根据需要更新 mime.type 属性。 常见的习惯用法是在 CompressContent 之前添加 IdentityMimeType 并配置 Mode='decompress' AND Compression Format='use mime.type attribute'。 当以这种方式使用时,会自动检测 MIME 类型,并在必要时解压缩数据。 如果不需要解压,则数据将传递到“成功”关系。 该处理器以非常高效的内存方式运行,因此远远超出堆大小的非常大的对象通常可以很好地处理。

标签

contentcompressdecompressgzipbzip2lzmaxz-lzma2snappysnappy-hadoopsnappy framedlz4-frameddeflatezstdbrotli

使用场景

压缩 FlowFile 的内容

"Mode" = "compress"
"Compression Format" 应设置为要使用的压缩算法。

解压 FlowFile 的内容

"Mode" = "decompress"
"Compression Format" 应设置为之前用于压缩数据的压缩算法。

多处理器协同场景

检查 FlowFile 是否被压缩,如果是则解压。

说明:如果 IdentifyMimeType 确定内容未被压缩,CompressContent 将把 FlowFile 直接传递到 'success' 关系而不尝试解压缩。

autodetectmime typecompressdecompressgzipbzip2

配置 IdentifyMimeType:

默认属性值即可。
将 'success' 关系连接到 CompressContent。

配置 CompressContent:

"Mode" = "decompress"
"Compression Format" = "use mime.type attribute"

属性

下表中,加粗的属性为必填项;其余为可选项。表格同时标注默认值、是否支持表达式语言,以及是否为敏感属性(值会被加密)。

名称默认值可选值描述
Modecompress
  • compress
  • decompress
指示处理器是否应压缩内容或解压缩内容。 必须是“压缩”或“解压缩”
Compression Formatuse mime.type attribute
  • use mime.type attribute
  • gzip
  • deflate
  • bzip2
  • xz-lzma2
  • lzma
  • snappy
  • snappy-hadoop
  • snappy framed
  • lz4-framed
  • zstd
  • brotli
要使用的压缩格式。 有效值为:GZIP、Deflate、ZSTD、BZIP2、XZ-LZMA2、LZMA、Brotli、Snappy、Snappy Hadoop、Snappy Framed 和 LZ4-Framed
Compression Level1
  • 0
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
要使用的压缩级别;仅在使用 gzip、deflate 或 xz-lzma2 压缩时有效。较低的值处理速度更快但压缩率较低;值为 0 表示不压缩(即仅归档)用于 gzip 或 xz-lzma2 的最小压缩。较高的级别可能意味着更大的内存使用量,例如 xz-lzma/2 的级别 7-9,因此请注意堆大小。
Update Filenamefalse
  • true
  • false
如果为 true,将在解压缩数据时移除文件扩展名(仅当扩展名指示相应的压缩格式时),并在压缩数据时添加相应的扩展名

关系 (Relationships)

名称描述自动终止
failure如果压缩/解压失败,FlowFiles将被转移到失败关系否
successFlowFiles在压缩或解压成功后会转入成功关系否

读取的 FlowFile 属性

名称描述
mime.type如果压缩格式设置为使用 mime.type 属性,则此属性用于确定压缩类型。否则,此属性将被忽略。

写入的 FlowFile 属性

名称描述
mime.type如果 Mode 属性设置为 compress,则设置适当的 MIME 类型。如果 Mode 属性设置为 decompress 且文件成功解压缩,则删除此属性,因为 MIME 类型不再已知。

状态管理

该组件不存储状态。

受限 (Restricted)

该组件不受限。

输入要求

该组件要求有传入连接。

系统资源考量

资源描述
CPU此组件的实例可能会导致该系统资源的高使用率。多个实例或高并发设置可能会导致性能下降。
MEMORY此组件的实例可能会导致该系统资源的高使用率。多个实例或高并发设置可能会导致性能下降。