Apache Kafka

Apache Kafkaは、オープンソースの分散イベントストリーミングプラットフォームです。多くの産業や組織で使用され、リアルタイムで支払い処理や他の金融取引を行い、顧客の相互作用や注文に直ちに反応し、データプラットフォームやマイクロサービスの基盤として使用されています。Workato Apache Kafkaコネクターを使用すると、ローカルまたはWebのKafkaクラスターインスタンスとリンクすることができます。以下の操作が可能です:

Apache Kafkaコネクターはオンプレミスコネクターです。

WorkatoでApache Kafkaに接続する方法

Apache Kafkaには他のクライアントと同様に接続します。基本的な情報のみが必要で、すぐに使用することができます。

Workatoでクラウドプロファイルを使用して接続を設定する場合

オンプレミスの設定ファイルを編集する必要はありません。以下に示すように、すべてのプロパティを直接Workatoで設定します。 接続の詳細を設定するために引き続きconfig.ymlファイルを使用している場合は、この設定ページを参照してください。

設定済みのApache Kafka接続 以下のプロパティを設定して、Workatoで直接Kafka接続を構成します:

プロパティ名説明
urlプロトコルが kafka または kafka+ssl のサーバーURLのカンマ区切りリスト。
timeout一般的な操作のタイムアウト(ミリ秒)。
サーバー証明書.pem 形式のX509サーバー証明書
SSL証明書.pem 形式のX509クライアント証明書
SSL証明書キー.pem 形式のRSAクライアントキー

前述の証明書オプションは、SSL/TLSを使用してKafkaに接続する場合に使用できます。

パスワードで保護された秘密鍵はインラインできません。

Kafkaのプロデューサーコンシューマーの設定プロパティを指定できます。たとえば、bootstrap.serversbatch_sizeなどです。

ただし、一部のプロパティはオンプレミスエージェントによって上書きされ、設定できません。保護されたプロパティを再定義しようとすると、警告が表示されます。保護されたプロパティには以下が含まれます:

プロパティ名コメント
key.serializerエージェントでサポートされるのは StringSerializer のみです
value.serializerエージェントでサポートされるのは StringSerializer のみです
key.deserializerエージェントでサポートされるのは StringSerializer のみです
value.deserializerエージェントでサポートされるのは StringSerializer のみです
auto.offset.resetレシピで定義されます
enable.auto.commit内部で定義されます

Kafkaコネクターは、バイナリシリアライゼーション形式であるApache Avroをサポートしています。Avroは、JSONでフィールドが存在し、その型が定義されているスキーマに依存しています。コネクターは、データをスキーマレジストリに格納することに依存しています。Kafkaコネクターは、スキーマレジストリバージョン6.1.4以上でのみ動作します。

例: オンプレミスKafka Avro接続スキーマレジストリのURLを含むKafka接続の構成

Last updated: