PublishGCPubSub

文档中心 › 组件索引 › PublishGCPubSub

PublishGCPubSub Processor

类型全限定名:cn.org.acal.lynxus.processors.gcp.pubsub.PublishGCPubSub

所属 Bundle:cn.org.acal.lynxus:lynxus-gcp-nar:2.11.8

描述

将传入 FlowFile 的内容发布到配置的 Google Cloud PubSub 主题。 处理器支持动态属性。 如果存在任何动态属性,它们将以“属性”的形式与消息一起发送。

标签

googlegoogle-cloudgcpmessagepubsubpublish

属性

下表中,加粗的属性为必填项;其余为可选项。表格同时标注默认值、是否支持表达式语言,以及是否为敏感属性(值会被加密)。

名称默认值可选值描述
GCP Credentials Provider Service控制器服务 API:
GCPCredentialsService
cn.org.acal.lynxus-lynxus-gcp-services-api-nar-2.11.8
用于获取 Google Cloud Platform 凭据的Controller Service。
Project ID谷歌云项目 ID
支持表达式语言:是(仅使用环境/系统变量求值)
Topic NameGoogle Cloud PubSub 主题的名称
支持表达式语言:是(仅使用环境/系统变量求值)
Message Derivation StrategyFLOWFILE_ORIENTED
  • FlowFile Oriented — 每个传入的 FlowFile 都作为一条 Google Cloud PubSub 消息发送
  • Record Oriented — 每个传入的 FlowFile 都会被解析为 Lynxus 记录,每个记录都作为 Google Cloud PubSub 消息发送
用于将传入 FlowFile 发布到 Google Cloud PubSub 端点的策略。
Record Reader控制器服务 API:
RecordReaderFactory
cn.org.acal.lynxus-lynxus-standard-services-api-nar-2.11.8
用于传入FlowFile的Record Reader
Record Writer控制器服务 API:
RecordSetWriterFactory
cn.org.acal.lynxus-lynxus-standard-services-api-nar-2.11.8
用于在发送到 GCP pubSub 端点之前序列化数据的Record Writer
Input Batch Size100每次处理器调用处理的最大 FlowFile 数
Maximum Message Size1 MBGoogle PubSub 消息的最大大小(以字节为单位)。 默认为 1 MB(1048576 字节)
Batch Size Threshold15指示云服务应在批次中捆绑的消息数量。如果未设置且留空,则批次中仅使用一条消息。
批字节阈值3 MB发布请求根据此批字节阈值属性和Batch Size Threshold属性触发,以先满足的条件为准。
支持表达式语言:是(仅使用环境/系统变量求值)
Batch Delay Threshold100 millis指示用于批处理的延迟阈值。在从第一个元素添加开始经过此时间后,元素将被包装在批次中并发送。此值不应设置得太高,通常为毫秒级别。否则,调用可能看起来永远不会完成。
API Endpointpubsub.googleapis.com:443以 [host:port] 形式覆盖 gRPC 端点
支持表达式语言:是(仅使用环境/系统变量求值)
Proxy Configuration Service控制器服务 API:
ProxyConfigurationService
cn.org.acal.lynxus-lynxus-standard-services-api-nar-2.11.8
指定代理配置 Controller Service 来代理网络请求。

动态属性

动态属性允许用户自定义属性的名称与值。

名称值描述
属性名称要设置给该属性的值要为传出的 Google Cloud PubSub 消息设置的属性

关系 (Relationships)

名称描述自动终止
failure如果 Google Cloud Pub/Sub 操作失败,FlowFiles 将路由到此关系。否
retry如果 Google Cloud Pub/Sub 操作失败,则 FlowFile 会路由到此关系,但再次尝试该操作可能会成功。否
success成功执行 Google Cloud Pub/Sub 操作后,FlowFile 将路由到此关系。否

写入的 FlowFile 属性

名称描述
gcp.pubsub.messageId发布到配置的 Google Cloud PubSub 主题的消息 ID
gcp.pubsub.count.records发布到配置的 Google Cloud PubSub 主题的消息计数
gcp.pubsub.topic消息发布到的 Google Cloud PubSub 主题名称

状态管理

该组件不存储状态。

受限 (Restricted)

该组件不受限。

输入要求

该组件要求有传入连接。

系统资源考量

资源描述
MEMORYFlowFile 的全部内容将被读入内存以作为 PubSub 消息发送。

另请参阅