AmazonMSKConnectionService

文档中心 › 组件索引 › AmazonMSKConnectionService

AmazonMSKConnectionService Controller Service

类型全限定名:cn.org.acal.lynxus.kafka.service.aws.AmazonMSKConnectionService

所属 Bundle:cn.org.acal.lynxus:lynxus-kafka-service-aws-nar:2.11.8

描述

提供并管理与 AWS MSK Kafka Brokers 的连接,以进行生产者或消费者操作。

标签

AWSMSKstreamingkafka

属性

下表中,加粗的属性为必填项;其余为可选项。表格同时标注默认值、是否支持表达式语言,以及是否为敏感属性(值会被加密)。

名称默认值可选值描述
引导服务器以逗号分隔的 Kafka Bootstrap 服务器列表,格式为主机:端口。 对应于Kafka bootstrap.servers属性
安全协议SSL
  • PLAINTEXT
  • SSL
  • SASL_PLAINTEXT
  • SASL_SSL
用于与经纪人通信的安全协议。 对应于Kafka Client security.protocol属性
SASL 机制AWS_MSK_IAM
  • AWS_MSK_IAM — 允许使用 AWS IAM 对启用了 AWS IAM 作为认证机制的 Amazon MSK 集群进行认证和授权。IAM 凭证将使用 AWS 默认凭证提供程序链(AWS Default Credentials Provider Chain)来查找。
  • SCRAM-SHA-512 — 使用 SHA-256 以及用户名和密码的加盐挑战响应认证机制(SCRAM)
用于身份验证的 SASL 机制。 对应Kafka客户端sasl.mechanism属性
AWS Role SourceDEFAULT_PROFILE
  • Default Profile — 使用默认 AWS 凭证提供程序链来定位凭证。
  • Specified Profile — 使用来自默认凭证文件的已配置 AWS Profile Name。
  • Specified Role — 使用已配置的 Role ARN 和 Session Name 担任特定的 AWS 角色。
  • Web Identity Provider — 使用 STS AssumeRoleWithWebIdentity 和配置的 OAuth2/OIDC 令牌提供商获取 AWS MSK IAM 凭证。
选择 AWS MSK IAM 的 AWS 凭证来源方式:默认配置文件搜索标准位置,指定配置文件选择命名配置文件,指定角色配置角色 ARN 和会话名称。
AWS 配置文件名当有多个配置文件可用时要选择的 Amazon Web Services 配置文件。
AWS Assume Role ARN使用 AWS MSK IAM 时用于跨账户访问的 AWS 角色 ARN。 与承担角色会话名称一起使用。
AWS Assume Role Session Name用于跨账户访问的 AWS 角色会话名称。 与承担角色 ARN 结合使用。
AWS Web Identity Token Provider控制器服务 API:
OAuth2AccessTokenProvider
cn.org.acal.lynxus-lynxus-standard-services-api-nar-2.11.8
Controller Service为 AWS Web 身份联合提供带有 OAuth2 OpenID Connect 的令牌。
AWS Web Identity Session Time3600 secAWS STS AssumeRoleWithWebIdentity 的会话时间(900 秒到 3600 秒之间)。
AWS Web Identity STS Region交换 Web 身份令牌时用于 AWS Security Token Service 的区域标识符。
AWS Web Identity STS EndpointAWS Security Token Service 的可选终端节点覆盖。
AWS Web Identity SSL Context Provider控制器服务 API:
SSLContextProvider
cn.org.acal.lynxus-lynxus-standard-services-api-nar-2.11.8
与 AWS STS 进行 Web 身份联合通信时使用的 SSL 上下文服务。
SASL 用户名使用 PLAIN 或 SCRAM SASL 机制时提供的用户名和配置的密码
支持表达式语言:是(仅使用环境/系统变量求值)
SASL 密码使用 PLAIN 或 SCRAM SASL 机制时,密码与配置的用户名一起提供
敏感属性:是
支持表达式语言:是(仅使用环境/系统变量求值)
OAuth2 访问令牌提供者服务控制器服务 API:
OAuth2AccessTokenProvider
cn.org.acal.lynxus-lynxus-standard-services-api-nar-2.11.8
提供 OAuth2 访问令牌进行身份验证的服务
Kerberos 用户服务控制器服务 API:
SelfContainedKerberosUserService
cn.org.acal.lynxus-lynxus-standard-services-api-nar-2.11.8
支持使用 Kerberos 进行用户身份验证的服务
Kerberos 服务名与代理 JAAS 配置中配置的 Kafka 服务器的主名称匹配的服务名称
支持表达式语言:是(仅使用环境/系统变量求值)
SSL Context Service控制器服务 API:
SSLContextProvider
cn.org.acal.lynxus-lynxus-standard-services-api-nar-2.11.8
支持与 Kafka 代理进行 SSL 通信的服务
事务隔离级别read_committed
  • Read Committed — 仅在生产者提交事务后从 Kafka 读取记录。
  • Read Uncommitted — 一旦生产者发送记录即从 Kafka 读取记录,无论事务状态如何。
指定服务在与 Kafka 通信时应如何处理事务隔离级别。uncommitted 选项意味着消息在写入 Kafka 后立即被接收,但如果生产者取消了事务,消息仍会被拉取。committed 选项配置服务不接收生产者事务已取消的任何消息,但这可能导致一些延迟,因为消费者必须等待生产者完成整个事务,而不是在消息可用时立即拉取。对应于 Kafka 的 isolation.level 属性。
Max Poll Records10000Kafka 在一次轮询中应返回的最大记录数。
客户端超时60 secKafka 客户端操作的默认超时。 映射到 Kafka default.api.timeout.ms。 Kafka request.timeout.ms 属性源自配置超时的一半
最大元数据等待时间5 sec发布者在 'send' 调用期间等待获取元数据或等待缓冲区刷新的时间量,超过此时间将使整个 'send' 调用失败。对应于 Kafka 的 max.block.ms 属性。
支持表达式语言:是(仅使用环境/系统变量求值)
确认等待时间5 sec向 Kafka 发送消息后,这表示服务等待 Kafka 响应的时间量。 如果 Kafka 在此时间段内未确认消息,服务将抛出异常。

动态属性

动态属性允许用户自定义属性的名称与值。

名称值描述
Kafka 配置属性或 SASL 扩展属性的名称。给定属性的值。Kafka 配置属性将在加载任何提供的配置属性后添加到 Kafka 配置中。如果动态属性表示已设置的属性,则其值将被忽略并记录 WARN 消息。有关可用 Kafka 属性的列表,请参阅:http://kafka.apache.org/documentation.html#configuration。SASL 扩展属性可以在 sasl_extension_propertyName 格式(例如 sasl_extension_logicalCluster)。

状态管理

该组件不存储状态。

受限 (Restricted)

该组件不受限。

提供的 Service API

  • KafkaConnectionService (cn.org.acal.lynxus-lynxus-kafka-service-api-nar-2.11.8)