JarCasting
JarCasting JarCasting

KafkaCap

Reliably Capture Messages to Kafka

Лицензия

Лицензия
Группа

Группа

io.thill.kafkacap
Идентификатор

Идентификатор

kafkacap-parent
Последняя версия

Последняя версия

0.1.1
Дата

Дата
Тип

Тип

pom
Описание

Описание

KafkaCap
Reliably Capture Messages to Kafka
Ссылка на сайт

Ссылка на сайт

https://github.com/thillio/kafkacap
Система контроля версий

Система контроля версий

https://github.com/thillio/kafkacap

Скачать kafkacap-parent

Имя Файла Размер
kafkacap-parent-0.1.1.pom 4 KB
Обзор

Как подключить последнюю версию

<!-- https://jarcasting.com/artifacts/io.thill.kafkacap/kafkacap-parent/ -->
<dependency>
    <groupId>io.thill.kafkacap</groupId>
    <artifactId>kafkacap-parent</artifactId>
    <version>0.1.1</version>
    <type>pom</type>
</dependency>
// https://jarcasting.com/artifacts/io.thill.kafkacap/kafkacap-parent/
implementation 'io.thill.kafkacap:kafkacap-parent:0.1.1'
// https://jarcasting.com/artifacts/io.thill.kafkacap/kafkacap-parent/
implementation ("io.thill.kafkacap:kafkacap-parent:0.1.1")
'io.thill.kafkacap:kafkacap-parent:pom:0.1.1'
<dependency org="io.thill.kafkacap" name="kafkacap-parent" rev="0.1.1">
  <artifact name="kafkacap-parent" type="pom" />
</dependency>
@Grapes(
@Grab(group='io.thill.kafkacap', module='kafkacap-parent', version='0.1.1')
)
libraryDependencies += "io.thill.kafkacap" % "kafkacap-parent" % "0.1.1"
[io.thill.kafkacap/kafkacap-parent "0.1.1"]

Зависимости

Библиотека не имеет зависимостей. Это самодостаточное приложение, которое не зависит ни от каких других библиотек.

Модули Проекта

  • kafkacap-core
  • kafkacap-aeron
  • kafkacap-multicast
  • kafkacap-websocket

KafkaCap

Reliably Capture Messages to Kafka

Architecture

  • 2 or more Capture Devices write to separate Kafka Topics
  • A Deduplicator process listens to the Capture Device topics and writes unique messages to a single Kafka Topic
  • Multiple Deduplicator processes with the same Kafka Consumer group.id run to provide fault-tolerance

Architecture

Core

Capture Device

"Bring Your Own Receiver" - An abstract CaptureDevice class allows simple plug-and-play

Deduplicator

Instantiate a Deduplicator with a custom DedupStrategy to generate a unified outbound topic. Downstream consumers can treat the outbound topic as any normal Kafka topic, while having high confidence that all messages are captured and appropriately ordered.

Documentation

Full Details: Core

Provided Implementations

Capture Devices

Версии библиотеки

Версия
0.1.1
0.1.0