Kafka

Radosław Szmit

2 minute read

Apache Kafka można z łatwością uruchomić na swoim komputerze korzystając z gotowych obrazów Dockera. Poniżej kilka przykładów jak to zrobić. Użyjemy obrazów: wurstmeister/zookeeper wurstmeister/kafka Jeden broker i ZooKeeper Przygotowanie sieci: docker network rm bdp_kafka_network docker network create –driver bridge bdp_kafka_network docker network ls Kontener ZooKeepera: docker run –name zookeeper.bigdatapassion.pl \ -p 2181:2181 \ –network=bdp_kafka_network \ –hostname=zookeeper.bigdatapassion.pl \ -d \ wurstmeister/zookeeper:latest Kontener Kafki: docker run –name kafka.

Radosław Szmit

2 minute read

Poniżej lista przydatnych poleceń Apache Kafka. Dla ułatwienia korzystania, używane są odpowiednie zmienne systemowe. export KAFKA_HOME=/usr/hdp/2.5.3.0-37/kafka export ZOOKEEPER_HOME=/usr/hdp/2.5.3.0-37/zookeeper export KAFKA_ZOOKEEPER=localhost:2181 export KAFKA_BROKER=localhost:9092,localhost:9093,localhost:9094 export TOPIC=test-topic Jeśli korzystamy z Dockera: export KAFKA_ZOOKEEPER=zookeeper.bigdatapassion.pl:2181 export KAFKA_BROKER=kafka.bigdatapassion.pl:9092 export TOPIC=test-topic lub export KAFKA_ZOOKEEPER=cluster_zookeeper:2181 export KAFKA_BROKER=cluster_kafka1:9092,cluster_kafka2:9092,cluster_kafka3:9092 export TOPIC=test-topic Topiki lista: bin/kafka-topics.sh –list –zookeeper $KAFKA_ZOOKEEPER tworzenie: bin/kafka-topics.sh –create –zookeeper $KAFKA_ZOOKEEPER –replication-factor 3 –partitions 10 –topic $TOPIC opis: bin/kafka-topics.sh –describe –zookeeper $KAFKA_ZOOKEEPER bin/kafka-topics.sh –describe –zookeeper $KAFKA_ZOOKEEPER –topic $TOPIC bin/kafka-topics.

Instalacja Apache Kafka

Instalacja Apache Kafka - trzech brokerów na jednym komputerze

Radosław Szmit

2 minute read

W dzisiejszym poście jak zainstalować sobie szybko kafkę lokalnie do testów. Będziemy używać dystrybucji Apache. Instalacja dla systemu Linux. Instalacja wersji z jednym brokerem Zaczynamy od ściągnięcia Kafki i rozpakowania w nowym katalogu. Najnowsza wersja jest do ściągnięcia ze strony projektu. Będziemy używać wersji Kafki 1.1.0 dla języka Scala w wersji 2.11 (aktualnie 2.11 jest zalecana zarówno dla Kafki jak i Sparka stąd dość oczywisty wybór). mkdir kafka cd kafka wget http://ftp.