Hortonworks Data Platform (HDP)

Instalacja HDP 2.6 na pojedynczej maszynie

Instalacja HDP 2.6.4.0 na pojedynczej maszynie z wykorzystaniem CentoOS 6 i Virtualbox

Radosław Szmit

3 minute read

W tym poście pokażę jak przygotować sobie jedną wirtualną maszynę z zainstalowaną dystrybucją Hortonworks. Taką maszynę, zwaną sandbox’em możemy wykorzystywać do celów testowych i developerskich. Stworzenie maszyny wirtualbox i instalacja systemu operacyjnego CentOS 6 Zaczniemy od stworzenia maszyny wirtualnej i instalacji na niej systemu CentOS 6. Opis jak to zrobić można znaleźć tutaj Przygotowanie systemu operacyjnego CentOS 6 Aktualizacja systemu Żeby pracować na najnowszej wersji systemu należy go zaktualizować

Sandbox Big Data

Maszyna wirtualna z środowiskiem developerskim dla inżynierów i analityków Big Data

Radosław Szmit

4 minute read

W dzisiejszym poście chciałbym Wam udostępnić maszynę wirtualną z którą można łatwo rozpocząć swoją przygodę z Big Data. Wiele osób uczestniczących w naszych kursach Big Data i Data Science narzeka, że dla początkujących osób często problemem jest zestawienia sobie odpowiedniego środowiska. By wyjść naprzeciw tym wszystkim osobom przygotowałem specjalną maszynę wirtualną która zawiera: System CentOS 7.5 Java Scala IntelliJ IDEA Docker Docker Compose Git Maven Dystrybucja Hortonworks oraz wiele innych przydatnych narzędzi.

Instalacja dystrybucji Hortonworks Data Platform za pomocą Apache Ambari

Instalacja HDP 2.6 za pomocą Ambari 2.5 na systemie Red Hat 7.5 lub CentOS 7.5

Radosław Szmit

6 minute read

Instrukcja instalacji dystrybucji Hortonworks Data Platform HDP-2.6 na maszynach z systemem Red Hat 7 lub CentOS 7. Do instalacji zostanie użyte: * HDP-2.6.3.0 * Apache Ambari w wersji 2.5.1.0. * CentOS 7.5.1804 (Minimal ISO) Instalacja może być przeprowadzona tylko na jednej maszynie oraz w klastrze. W przypadku jednej maszyny należy w każdym miejscu konfiguracji wskazać jeden i ten sam host. Wszystko usługi, zarówno typu master jak i slave, będą zainstalowane na tym jednym komputerze.

CentOS 7 - Instalacja środowiska developerskiego

Instalacja HDP 2.6.4.0 na pojedynczej maszynie z wykorzystaniem CentoOS 7 i Virtualbox

Radosław Szmit

2 minute read

Jeśli ktoś chciałby pracować na co dzień z systemem CentOS 7 w trybie graficznym, poniżej krótka instrukcja jak to zrobić. Dodatkowo opis konfiguracji dla VirtualBox’a dla chcącym korzystać tylko na maszynie wirtualnej. Instalacja systemu Proces instalacji systemu jest bardzo prosty, wystarczy postępować zgodnie z poleceniami na ekranie, dlatego zostanie pominięty. Aktualizacja systemu Żeby pracować na najnowszej wersji systemu należy go zaktualizować yum -y update yum -y upgrade Instalacja środowiska graficznego Instalacja pakietów i narzędzi yum -y groups install "GNOME Desktop" Jeśli chcemy przejrzeć inne grupy możemy wpisać:

Instalacja dystrybucji Hortonworks Data Platform za pomocą Apache Ambari

Instalacja HDP 2.6 za pomocą Ambari 2.5 na systemie Red Hat 6.9 lub CentOS 6.9

Radosław Szmit

5 minute read

Instrukcja instalacji dystrybucji Hortonworks Data Platform HDP-2.6.3.0 na maszynach z systemem Red Hat 6.9 lub CentOS 6.9. Do instalacji zostanie użyte Apache Ambari w wersji 2.5.1.0. Klaster ssh Jeśli chcemy wykonywać wybrane polecenia jednocześnie na wszystkich maszynach możemy użyć polecenia cssh. cssh root@hdp1 root@hdp2 root@hdp3 Jeśli wolimy klasyczne ssh, logujemy się na każdą maszynę oddzielnie: ssh root@hdp1 UWAGA: Wszystkie dalesze polecenia wykonujemy zalogowani jako użytkownik root Aktualizacja systemu yum update -y Instalacja przydatnych narzędzi yum install -y wget Instalacja epel release CentOS: