Apache Kafka

Autor: Louise Ward
Erstelldatum: 5 Februar 2021
Aktualisierungsdatum: 26 Juni 2024
Anonim
Введение в Apache Kafka, первая тема открытого базового курса
Video: Введение в Apache Kafka, первая тема открытого базового курса

Inhalt

Definition - Was bedeutet Apache Kafka?

Apache Kafka ist ein Open-Source-Publish-Subscribe-System, das eine schnelle, skalierbare und fehlertolerante Verarbeitung von Echtzeit-Datenfeeds ermöglicht. Im Gegensatz zu herkömmlicher Messaging-Software für Unternehmen kann Kafka alle durch ein Unternehmen fließenden Daten nahezu in Echtzeit verarbeiten.


Kafka ist in Scala geschrieben und wurde ursprünglich von LinkedIn entwickelt. Seitdem haben eine Reihe von Unternehmen damit Echtzeitplattformen aufgebaut.

Eine Einführung in Microsoft Azure und die Microsoft Cloud | In diesem Handbuch erfahren Sie, worum es beim Cloud-Computing geht und wie Microsoft Azure Sie bei der Migration und Ausführung Ihres Unternehmens aus der Cloud unterstützen kann.

Techopedia erklärt Apache Kafka

Kafka hat viele Ähnlichkeiten mit Transaktionsprotokollen und verwaltet Feeds mit s in Themen. Produzenten schreiben Daten in Themen und Konsumenten lesen aus diesen Themen, die in einem verteilten Systemformat auf mehrere Knoten verteilt und repliziert werden. Kafka ist insofern einzigartig, als jede Themenpartition als Protokoll behandelt wird und jeder Partition in einer Partition ein eindeutiger Offset zugewiesen wird. Alle s bleiben für einen bestimmten Zeitraum erhalten, und die Verbraucher sind dafür verantwortlich, ihren Standort in jedem Protokoll zu verfolgen. Dies unterscheidet sich von früheren Systemen, in denen Makler für diese Nachverfolgung verantwortlich waren, was die Skalierbarkeit des Systems mit zunehmender Anzahl von Verbrauchern stark einschränkte. Diese Struktur ermöglicht es Kafka, viele Verbraucher zu unterstützen und große Datenmengen mit sehr geringem Overhead zu speichern.


Kafka kann verwendet werden:

  • Als traditioneller Makler
  • Zur Verfolgung von Website-Aktivitäten
  • Für die Protokollaggregation
  • Für die Verarbeitung großer Datenströme

Kafka kann zusammen mit Apache Storm, Apache HBase und Apache Spark zur Echtzeitanalyse und zum Rendern von Streaming-Daten verwendet werden.