Apache Kafka stała się bazą wielu systemów przetwarzających dane strumieniowe. Jednakże często potrzebujemy rozszerzyć jej możliwości dodatkowymi komponentami jak rejestr schematów, rest proxy, replikację danych, dodatkowe konektory i wiele innych. W takich sytuacjach z pomocą przychodzi nam Confluent Platform, czyli kompletna dystrybucja Big Data, której sercem jest Apache Kafka. Z platformy korzysta obecnie ponad 80% firm z zestawienia Fortune 100. W tym artykule przedstawię najważniejsze…

Instrukcja instalacji Cloudera Data Platform (CDP) + Cloudera Manager (CM) na CentOS w środowisku nieprodukcyjnym w celu prezentacji lub jako proof-of-concept. Instalujemy Cloudera Manager z JDK, bazą PostgreSQL, usługą Manager Server, Manager Agent i Cloudera Runtime.

Przez długi czas, Hortonworks Data Platform oraz Hortonworks DataFlow były najpopularniejszymi dystrybucjami Big Data na świecie. Ze względu na możliwość korzystania z platformy całkowicie za darmo bez potrzeby jakiejkolwiek rejestracji, tak naprawdę nie wiadomo jako dużo projektów było o nią opartych, ale widząc choćby popularność w internecie w samej Polsce było ich sporo. Niestety dla tych wszystkich firm i projektów, firma Hortonowrks już nie istnieje, zaś sama platforma nie jest już…

Instrukcja instalacji dystrybucji Hortonworks Data Platform HDP 3.1 na maszynach z systemem Red Hat 7 lub CentOS 7.

W tym poście pokażę jak przygotować sobie jedną wirtualną maszynę z zainstalowaną dystrybucją Hortonworks. Taką maszynę, zwaną sandbox’em możemy wykorzystywać do celów testowych i developerskich.