📄️ Avro 格式
Avro 在流式数据处理管道中非常流行。现在seatunnel在kafka连接器中支持Avro格式
📄️ Canal 格式
变更数据捕获格式:
📄️ CDC 兼容 Debezium-json
SeaTunnel 支持将 cdc 记录解析为 Debezium-JSON 消息,并发布到 MQ (kafka) 等消息系统中
📄️ Debezium 格式
变更数据捕获格式:
📄️ Kafka source 兼容 kafka-connect-json
Seatunnel 的 Kafka 连接器支持解析通过 Kafka Connect Source 抽取的数据,特别是从 Kafka Connect JDBC 和 Kafka Connect Debezium 抽取的数据
📄️ MaxWell 格式
Maxwell 是一个 CDC(变更数据捕获)工具,能够实时捕获 MySQL 的数据变化并将其流式传输到 Kafka、Kinesis 和其他流连接器中。Maxwell 为变更日志提供了一种统一的格式,并支持使用 JSON 进行消息的序列化。
📄️ Ogg 格式
Oracle GoldenGate (a.k.a ogg) 是一项托管服务,提供实时数据网格平台,该平台使用复制来保持数据高度可用,并支持实时分析。客户可以设计、执行和监控其数据复制和流数据处理解决方案,而无需分配或管理计算环境。 Ogg 为变更日志提供了统一的格式结构,并支持使用 JSON 序列化消息。
📄️ Protobuf 格式
Protobuf(Protocol Buffers)是一种由Google开发的语言中立、平台无关的数据序列化格式。它提供了一种高效的方式来编码结构化数据,同时支持多种编程语言和平台。