Hortonworks Data Platform (HDP) on BigDataPassion

Umarł król, niech żyje król, czyli czym zastąpić dystrybucję Hortonworks

Mon, 28 Mar 2022 00:00:00 +0000

Przez długi czas, Hortonworks Data Platform oraz Hortonworks DataFlow były najpopularniejszymi dystrybucjami Big Data na świecie. Ze względu na możliwość korzystania z platformy całkowicie za darmo bez potrzeby jakiejkolwiek rejestracji, tak naprawdę nie wiadomo jako dużo projektów było o nią opartych, ale widząc choćby popularność w internecie w samej Polsce było ich sporo. Niestety dla tych wszystkich firm i projektów, firma Hortonowrks już nie istnieje, zaś sama platforma nie jest już rozwijana.

Stało się to za sprawą połączenia firmy Hortonworks z firmą Cloudera 1 stycznia 2019 roku.

Od tamtego czasu minęły już ponad trzy lata, a mimo to wiele firm nadal korzysta z rozwiązań zbudowanych przez firmę Hortonworks jak Hortonworks Data Platform oraz Hortonworks DataFlow.

Przyczyn tego zjawiska jest wiele, najczęściej są to braki kadrowe, niechęć do ponoszenia nowych wydatków związanych z migracją, trudność samej migracji, gdyż na obecnej platformie jest opartych wiele produkcyjnych systemów oraz po prostu trudność wyboru nowej platformy.

Niestety 31 grudnia 2021 zakończył się okres wsparcia dla platformy Hortonworks Data Platform, co oznacza, że najwyższy czas pomyśleć o migracji.

Sytuacja jest o tyle ciekawsza, że także część serwisów chmurowych jest także oparta o wspomniane platformy jak na przykład:

Microsoft Azure HDInsight
Oracle Cloud Big Data Service
IBM Analytics Engine
OVH Analytics Data Platform

Dlatego powyższym dostawcom usług chmurowych, jak i ich klientom, także będzie zależeć na zastąpieniu tych platform ich nowszymi wersjami.

W artykule spróbuję wskazać kilka najpopularniejszych dróg migracji platform firmy Hortonworks.

Artykuł ten dedykuje Apache Ambari, które przez wiele lat pomagało budować, zarządzać i monitorować klastry Big Data. Niestety jako integralna część platform firmy Hortonworks, 10 stycznia 2022 roku zdecydowano o zamrożeniu repozytorium kodu i przekazaniu projektu do Attic.

Migracja do Cloudera Data Platform

Po połączeniu firmy Hortonworks wraz z firmą Cloudera podjęto decyzję, że firma udostępni swoim klientom swoją nową platformę, która nazywa się Cloudera Data Platform (CDP). W praktyce CDP jest to mocno rozwinięta wersja poprzedniej platformy firmy, czyli Cloudera Distribution for Hadoop (CDH) gdzie dołożone kilka komponentów z dystrybucji Hortonworks jak np. Apache Ranger, który zastąpił Apache Sentry (także przekazane do Attic). Porównanie funkcjonalności HDP z CDP można znaleźć tutaj.

Cloudera Data Platform jest dostępna w trzech wersjach:

CDP Private Cloud Base - wersja “tradycyjna” oparta o maszyny fizyczne lub wirtualne, wersja najbliższa architekturą platformie HDP
CDP Private Cloud - wersja oparta o klastry Kubernetes, obecnie wspierany jest Red Hat OpenShift (co może zostać rozszerzone w przyszłości)
CDP Public Cloud - wersja dla firm chcących korzystać z platformy Cloudery w chmurze na zasobach AWS, GCP lub Azure, jest to gotowy serwis zarządzany przez Clouderę

Dużym plusem dla użytkowników Hortonworks Data Platform (oraz także CDH) jest przygotowany i udokumentowany proces migracji do CDP zarówno z wersji 2.x oraz najnowszej 3.x.

Dużą różnicą w stosunku do dystrybucji Hortonworks jest konieczność zakupu licencji, około 10 tysięcy dolarów rocznie za serwer, chętnych odsyłam do cennika.

Migracja do konkurencyjnej platformy

Cloudera nie jest jedyną firmą, która postanowiła ułatwiać firmom pracę z technologiami Big Data, dlatego też można rozważyć skorzystanie z oferty innej firmy. Oczywiście oferty tych firm są różne i nie stanowią kompletu funkcjonalności Cloudera Data Platform lub niekiedy musimy skorzystać z kilku, by zrealizować wszystkie wymagania naszego biznesu.

Najbliższym rozwiązaniem może okazać się HPE Ezmeral Data Fabric. Osoby dłużej związane z rynkiem Big Data mogą tę platformę kojarzyć pod wcześniejszą nazwą, czyli MapR, gdyż Hewlett Packard Enterprise ogłosił 5 sierpnia 2019 kupno firmy MapR Technologies i jej platformy. W przypadku tej platformy także możemy wybrać instalację w oparciu o maszyny fizyczne bądź wirtualne oraz także klaster Kubernetes. Możemy także skorzystać z oferty “private cloud” od HPE zwanej GreenLake.

Do innych popularnych platform z obszaru Big Data należą między innymi:

Confluent Platform - gdy potrzebujemy klastrów Apache Kafka
Ververica Platform - jeśli chcemy oprzeć nasz streaming o Apache Flink
Starburst Enterprise - dla firm korzystających z Trino
Elastic Stack - gdy interesuje nas enterprise search i podobne zastosowania, w tym także wizualizacja
DataStax Enterprise - platforma oparta o Apache Cassandra, klastry Kubernetes oraz Apache Pulsar (Luna Streaming)

Własna platforma

Platformy firmy Hortonworks nie były tylko darmowe, ale także w stu procentach otwartoźródłowe. Biorąc to pod uwagę, możemy rozważyć także budowę własnej platformy, wykorzystując popularne narzędzia jak Hadoop, Spark, Kafka, Flink czy Airflow. Zarządzanie taką platformą, zamiast Ambari i Cloudera Manager, możemy oprzeć o popularne narzędzia takie jak Ansible lub Puppet.

Do zbudowania własnej dystrybucji, możemy także skorzystać z bazowej dystrybucji Apache Bigtop. Na jej podstawie powstaje choćby bardzo popularny AWS EMR.

Ta droga likwiduje potrzebę kupowania drogich licencji i wsparcia, jednak wymaga zbudowania zgranego zespołu specjalistów, którzy stworzą i utrzymają taką własną platformę Big Data.

Chmura publiczna

Jednym z popularnych trendów, zwłaszcza w platformach analitycznych, jest migracja do chmury publicznej. Każdy z większych dostawców chmurowych udostępnia szereg natywnych rozwiązań big data, w tym data science i machine learning. Sprawia to, że praca z danymi w chmurze jest prosta, szybka i przyjemna. Dodatkowo chmury oferują niezwykłą dostępność zasobów, niespotykaną wręcz w środowiskach on premise, gdzie na dodatkowy sprzęt możemy czekać niekiedy miesiącami. Chmura potrafi także być tańsza, szczególnie przez korzystanie z automatycznej skalowalności i płatności tylko za użyte zasoby w czasie. Nie musimy inwestować na start w olbrzymi klaster kilkudziesięciu maszyn i poświęcać wielu tygodni lub miesięcy na jego wdrożenie w organizacji, lecz od pierwszych chwil możemy zająć się już realną pracą z danymi. Nie musimy także zaczynać od nie wiadomo jak dużych wolumenów danych, by nam się opłacało sięgać po te technologie, gdyż próg wejścia jest wyjątkowo niski w chmurze publicznej.

W chmurze możemy korzystać z dystrybucji Big Data takich jak Amazon EMR czy Google Dataproc rozwijanych przez dostawców chmurowych oraz także dystrybucji firm trzecich jak Databricks’ Unified Data Analytics Platform stworzoną przez firmę Databricks i dostępną w AWS, GCP oraz Azure. Należy jednak pamiętać, że część serwisów Big Data, jak np. Azure HDInsight bazuje na rozwiązaniach Hortonworks, dlatego jako nowy klient, lepiej skorzystać z alternatywnych rozwiązań.

Więcej o zaletach pracy z danymi w chmurze można znaleźć w mojej prezentacji.

Docker i Kubernetes

Na koniec jeden z najnowszych trendów, czyli wykorzystanie projektów takich jak Docker i Kubernetes do budowy własnej platformy analitycznej. Do tej pory większość dystrybucji Big Data była oparta o maszyny fizyczne lub wirtualne. Jednak w erze niesamowitej popularyzacji kontenerów, coraz więcej rozwiązań IT jest przenoszonych do tego świata. Tak też się dzieje z technologiami Big Data.

Dobrym przykładem jest firma Uber, która przeniosła swój Data Lake oparty o Apache Hadoop do kontenerów. Także twórcy wielu popularnych narzędzi Big Data jak Spark, Flink lub Kafka Streams wspierają pracę na klastrach Kubernetes. Wspomniane wcześniej komercyjne platformy Big Data jak AWS EMR lub Cloudera Data Platform są dostępne zarówno w wersji opartej o klasyczne wdrożenie na maszyny wirtualne / fizyczne jak i w oparciu o Kubernetes. Databricks, czyli firma stojąca za rozwojem Apache Spark, swoją bardzo popularną platformę chmurową w wersji Google Cloud oparła o Google Kubernetes Engine. Także ich najnowsza usługa, czyli Databricks Serverless SQL, jest oparta o Amazon Elastic Kubernetes Service (EKS) (w momencie pisania artykułu serverless SQL jest dostępny jako preview tylko w chmurze AWS).

Podsumowanie

Jak widać powyżej, połączenie się firm Hortonworks i Cloudera zmusiło wiele firm do przemyślenia na nowo swojego podejścia do budowy platformy analitycznej. Na szczęście, możliwości rynek oferuje sporo, powyżej wymieniłem w skrócie 5 najpopularniejszych kierunków widocznych w polskim i światowym community. Każda z powyższych ścieżek niesie z sobą pewne zalety i wady, ostateczną decyzję zatem każda firma będzie musiała podjąć samodzielnie na podstawie swoich potrzeb i możliwości.

Instalacja dystrybucji Hortonworks Data Platform 3.1 za pomocą Apache Ambari

Thu, 18 Apr 2019 00:00:00 +0000

Instrukcja instalacji dystrybucji Hortonworks Data Platform HDP 3.1 na maszynach z systemem Red Hat 7 lub CentOS 7.

Do instalacji zostanie użyte:

HDP-3.1.0.0
Apache Ambari w wersji 2.7.3.0
CentOS 7 lub Red Hat 7

Instalacja może być przeprowadzona tylko na jednej maszynie oraz w klastrze. W przypadku jednej maszyny należy w każdym miejscu konfiguracji wskazać jeden i ten sam host. Wszystko usługi, zarówno typu master jak i slave, będą zainstalowane na tym jednym komputerze.

W przypadku systemów produkcyjnych jedyną zalecaną opcją jest instalacja w klastrze kilku maszyn. Jedną maszynę możemy wykorzystywać do celów testowych i developerskich.

Przygotowanie maszyn

Taką instalację możemy przeprowadzić w dowolnym środowisku, np. z użyciem VirtualBoxa lub chmury AWS

Klaster ssh

Jeśli chcemy wykonywać wybrane polecenia jednocześnie na wszystkich maszynach możemy użyć polecenia cssh.

cssh root@hdp1 root@hdp2 root@hdp3

Jeśli wolimy klasyczne ssh, logujemy się na każdą maszynę oddzielnie:

ssh root@hdp1

UWAGA: Wszystkie dalsze polecenia wykonujemy zalogowani jako użytkownik root

Dostęp do internetu

Żeby instalować dodatkowe pakiety musimy mieć dostęp do internetu. Jeśli nie jest on dostępny, można spróbować włączyć DHCP.

Aby włączyć ręcznie DHCP należy wykonać:

dhclient -v

W celu skonfigurowania tego na stałe warto zmienić wartość (ONBOOT=yes) w pliku /etc/sysconfig/network-scripts/ifcfg-eth0

yum install -y vim
vim /etc/sysconfig/network-scripts/ifcfg-enp0s3

Włączamy logowanie root’a po haśle

Jeśli chcemy umożliwić logowanie użytkownika root po haśle ustawiamy parametr (PermitRootLogin yes) w pliku /etc/ssh/sshd_config

vim /etc/ssh/sshd_config

(UWAGA nigdy tego nie róbmy na produkcyjnych serwerach, NIGDY!)

Logowanie po SSH

Jeśli korzystamy z systemów Linux/Mac wygodnym rozwiązaniem może okazać się konfiguracja dostępu z swojego komputer i swojej konsoli. Żeby nie musieć podawać przy logowaniu ciągle hasła, warto wrzucić na maszynę wirtualną swój klucz publiczny by logować się bez hasła.

ssh-copy-id root@localhost -p 2222
ssh root@localhost -p 2222

Możliwość logowania do wszystkich maszyn możemy sprawdzić za pomocą polecenia:

for i in {1..5..1}; do ssh hdp${i} uptime; done

Aktualizacja systemu

Żeby pracować na najnowszej wersji systemu należy go zaktualizować

yum -y update
yum -y upgrade

Instalacja epel release

CentOS:

yum install -y epel-release

Red Hat:

cd /tmp
yum install -y wget
wget https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
yum install -y epel-release-latest-7.noarch.rpm
yum repolist

Instalacja kolejnych przydatnych narzędzi

yum -y install wget vim htop ntp openssh-server openssh-clients nano bash-completion tree mc byobu ncdu

Zmieniamy hostname (opcjonalnie)

Uwaga, ustawiamy nowe wpisy hostname tylko i wyłącznie wtedy gdy chcemy je zmienić na własne. W wielu przypadkach możemy zostawić obecne hosty o ile są jakieś dostępne.

Na każdej z maszyn ustawiamy inny hostname, na przykład:

hostnamectl set-hostname hdpx.bigdatapassion.com
hostnamectl set-hostname "Hortonworks Data Platform Node" --pretty
hostnamectl set-hostname hdpx.bigdatapassion.com --static
hostnamectl set-hostname hdpx.bigdatapassion.com --transient

gdzie x to numer danego węzła, czyli hdp1, hdp2 i tak dalej.

Jeśli mamy jedną maszynę możemy ustawić:

hostnamectl set-hostname sandbox.bigdatapassion.com

Status możemy sprawdzić

hostnamectl status
hostname
hostname -f

Polecenie hostname i hostname -f powinny zwracać tą samą wartość.

Konfiguracja hostów

Poniższe ustawienie jest nam niezbędne jeśli ustawiliśmy własne wpisy hostname (punkt wyżej) oraz nie mamy żadnego systemu DNS który mógłby informować nasze maszyny jaki hostname odpowiada jakiemu adresowi ip.

Żeby maszyny się “widziały” musimy każdej ustawić odpowiedni hostname:

192.168.172.201 hdp1.bigdatapassion.com
192.168.172.202 hdp2.bigdatapassion.com
192.168.172.203 hdp3.bigdatapassion.com

Dla maszyn które mają zarówno adresy prywatne jak i publiczne (np. AWS lub Oracle Cloud) powinniśmy ustawić te prywatne. Oczywiście lista zależy od liczby maszyn (w tym przypadku 3) oraz adresach ip które można sprawdzić za pomocą polecenia “ip a”.

Dla jednego serwera możemy użyć localhost/127.0.0.1:

127.0.0.1   sandbox sandbox.bigdatapassion.com
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

Konfigurujemy logowanie SSH bez hasła

Na każdej maszynie generujemy zestaw kluczy:

ssh-keygen -f .ssh/id_rsa -t rsa -N ''

Na maszynie hdp1 wyświetlamy sobie klucz publiczny:

cat .ssh/id_rsa.pub

Pobrany klucz maszyny hdp1 wklejamy na każdej maszynie (także hdp1) do pliku:

vim .ssh/authorized_keys

Jeśli wszystko poszło jak trzeba z maszyny hdp1 możemy teraz zalogować się po SSH do każdej innej maszyny:

ssh hdp3.bigdatapassion.com

Jeśli instalujemy to na jednej maszynie wystarczy wykonać:

ssh-keygen -f .ssh/id_rsa -t rsa -N ''
ssh-copy-id sandbox.bigdatapassion.com
ssh sandbox.bigdatapassion.com

Wyłączamy selinux

Edytujemy plik /etc/sysconfig/selinux ustawiając SELINUX na disabled.

sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
setenforce 0
sestatus

Wyłączamy Firewall’a

systemctl disable firewalld
systemctl stop firewalld
systemctl status firewalld
systemctl disable firewalld.service
systemctl stop firewalld.service
systemctl status firewalld.service

Włączamy serwer czasu NTP

yum install -y ntp
systemctl disable chrony.service
systemctl enable ntpd
systemctl start ntpd
systemctl status ntpd
systemctl enable ntpd.service
systemctl is-enabled ntpd.service
systemctl start ntpd.service
systemctl status ntpd.service

Umask

umask 022
echo umask 022 >> ~/.bash_profile
echo umask 022 >> /etc/profile

Restart maszyn

Teraz warto wykonać restart wszystkich maszyn poleceniem reboot

Instalacja Apache Ambari

UWAGA: Od teraz wszystkie operacje wykonujemy tylko na maszynie hdp1

wget -nv http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.3.0/ambari.repo -O /etc/yum.repos.d/ambari.repo

yum repolist
yum update

Instalujemy Ambari

yum install ambari-server -y

Konfigurujemy Ambari

(W każdym pytaniu wybieramy odpowiedź domyślną klikając klawisz Enter za każdrym razem)

ambari-server setup

W przypadku ambari-server setup upewniamy się, że nie ma żadnych ostrzeżeń, zaś na wszystkie pytania odpowiadamy wartościami domyślnymi klikając enter:

[root@hdp1 ~]# ambari-server setup
Using python  /usr/bin/python
Setup ambari-server
Checking SELinux...
SELinux status is 'enabled'
SELinux mode is 'permissive'
WARNING: SELinux is set to 'permissive' mode and temporarily disabled.
OK to continue [y/n] (y)? y
Customize user account for ambari-server daemon [y/n] (n)? 
Adjusting ambari-server permissions and ownership...
Checking firewall status...
Checking JDK...
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Custom JDK
==============================================================================
Enter choice (1): 1
To download the Oracle JDK and the Java Cryptography Extension (JCE) Policy Files you must accept the license terms found at http://www.oracle.com/technetwork/java/javase/terms/license/index.html and not accepting will cancel the Ambari Server setup and you must install the JDK and JCE files manually.
Do you accept the Oracle Binary Code License Agreement [y/n] (y)? y
Downloading JDK from http://public-repo-1.hortonworks.com/ARTIFACTS/jdk-8u112-linux-x64.tar.gz to /var/lib/ambari-server/resources/jdk-8u112-linux-x64.tar.gz
jdk-8u112-linux-x64.tar.gz... 100% (174.7 MB of 174.7 MB)
Successfully downloaded JDK distribution to /var/lib/ambari-server/resources/jdk-8u112-linux-x64.tar.gz
Installing JDK to /usr/jdk64/
Successfully installed JDK to /usr/jdk64/
Downloading JCE Policy archive from http://public-repo-1.hortonworks.com/ARTIFACTS/jce_policy-8.zip to /var/lib/ambari-server/resources/jce_policy-8.zip

Successfully downloaded JCE Policy archive to /var/lib/ambari-server/resources/jce_policy-8.zip
Installing JCE policy...
Check JDK version for Ambari Server...
JDK version found: 8
Minimum JDK version is 8 for Ambari. Skipping to setup different JDK for Ambari Server.
Checking GPL software agreement...
GPL License for LZO: https://www.gnu.org/licenses/old-licenses/gpl-2.0.en.html
Enable Ambari Server to download and install GPL Licensed LZO packages [y/n] (n)? y
Completing setup...
Configuring database...
Enter advanced database configuration [y/n] (n)? n
Configuring database...
Default properties detected. Using built-in database.
Configuring ambari database...
Checking PostgreSQL...
Running initdb: This may take up to a minute.
Initializing database ... OK


About to start PostgreSQL
Configuring local database...
Configuring PostgreSQL...
Restarting PostgreSQL
Creating schema and user...
done.
Creating tables...
done.
Extracting system views...
ambari-admin-2.7.3.0.139.jar
....
Ambari repo file contains latest json url http://public-repo-1.hortonworks.com/HDP/hdp_urlinfo.json, updating stacks repoinfos with it...
Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.

Uruchamiamy Ambari

ambari-server start

Instalacja sterownika JDBC

Jeśli w naszym klastrze chcielibyśmy użyć narzędzia Apache Hive lub innego który używa biblioteki jdbc, konieczne będzie ściągnięcie i zarejestrowanie odpowiedniego sterownika jdbc za pomocą poniższego polecenia:

wget http://central.maven.org/maven2/mysql/mysql-connector-java/8.0.12/mysql-connector-java-8.0.12.jar
mv mysql-connector-java-8.0.12.jar /opt/
ll /opt/ | grep mysql
ambari-server setup --jdbc-db=mysql --jdbc-driver=/opt/mysql-connector-java-8.0.12.jar

Powyższy przykład dotyczy bazy MySQL, dla innej oczywiście potrzebny jest analogiczny sterownik.

Konfiguracja klastra HDP za pomocą Ambari UI

Następnie wchodzimy na adres: http://hdp1:8080 (lub inny wybrany hostname) i całą instalację kontynuujemy w trybie graficznym. Logujemy się jako admin / admin.

Następnie klikamy przycisk Launch Install Wizard

Ustawiamy nazwę naszego klastra

Wybieramy wersję dystrybucji którą chcemy zainstalować

W kolejnym ekranie w polu Target Hosts wskazujemy pełne adresy wybranych maszyn na których chcemy postawić dystrybucję

hdp1.bigdatapassion.com
hdp2.bigdatapassion.com
hdp3.bigdatapassion.com

lub dla jednej maszyny:

sandbox.bigdatapassion.com

oraz wklejamy zawartość pliku /root/.ssh/id_rsa maszyny na której zainstalowaliśmy Ambari

Po kliknięciu Register and Confirm Ambari przygotowuje nasze maszyny do instalacji

Po zakończonym procesie powinniśmy dostać informację o udanym przygotowaniu maszyn

Jeśli jednak mamy informację o ostrzeżeniach na końcu instalacji agentów lub błędach podczas instalacji, należy przejrzeć ich listę i rozwiązać problemy

Następnie wybieramy narzędzia które chcemy zainstalować (ilość i rodzaj według uznania, np. HDFS, MapReduce2, Tez, Hive, Pig, HBase, Oozie, Flume, Ambari Metrics)

Niektóre narzędzia są połączone na tyle silnie, że Ambari może nam zasugerować konieczność instalacji czegoś dodatkowo

Ambari będzie także proponować nam instalację narzędzi które twórcy uznali za ważne a my ich samodzielnie nie wybraliśmy

Wskazujemy na których maszynach mają być zainstalowane usługi zarządzające (Masters) (można zostawić na początek proponowane rozmieszczenie, tematowi jak rozmieszczać usługi przyjrzymy się w innym wpisie)

oraz usługi robocze (Slaves) (dla naszego testowego środowiska wybieramy wszystkie maszyny dla każdej z usług)

Konfigurujemy nasze serwisy, pola wymagane są na czerwono (najczęściej konieczność ustawienia hasła do bazy danych), pozostałe ustawienia na ten moment możemy pozostawić w ich wartościach domyślnych

Akceptujemy ostrzeżenia i dostajemy podsumowanie instalacji

Na koniec Ambari zaczyna instalować wszystkie usługi zgodnie z naszymi wytycznymi

Po zakończonej instalacji możemy korzystać już w pełni wdrożonego klastra.

Możliwe problemy

Gdyby w trakcie instalacji wystąpiły jakieś błędy podczas uruchamiania usług, możemy spróbować zatrzymać wszystkie serwisy a następnie ponownie je włączyć. W tym celu w lewym pasku serwisów w menu Actions wybieramy Stop All a następnie Start All.

W przypadku niektórych wersji systemu CentOS lub Red Hat konieczna może okazać się ta porada związana z brakiem biblioteki libtirpc-devel.

Legenda

Instalacja HDP 2.6 na pojedynczej maszynie

Sun, 04 Mar 2018 00:00:00 +0000

W tym poście pokażę jak przygotować sobie jedną wirtualną maszynę z zainstalowaną dystrybucją Hortonworks. Taką maszynę, zwaną sandbox’em możemy wykorzystywać do celów testowych i developerskich.

Stworzenie maszyny wirtualbox i instalacja systemu operacyjnego CentOS 6

Zaczniemy od stworzenia maszyny wirtualnej i instalacji na niej systemu CentOS 6. Opis jak to zrobić można znaleźć tutaj

Przygotowanie systemu operacyjnego CentOS 6

Aktualizacja systemu

Żeby pracować na najnowszej wersji systemu należy go zaktualizować

yum -y update
yum -y upgrade

Instalacja Vim

yum -y install vim

Włączamy automatyczne DHCP

Aby włączyć ręcznie dhcp należy wykonać:

dhclient -v

W celu skonfigurowania tego na stałe warto zmienić wartość (ONBOOT=yes) w pliku /etc/sysconfig/network-scripts/ifcfg-eth0

vim /etc/sysconfig/network-scripts/ifcfg-eth0

Włączamy logowanie root’a po haśle

Ustawiamy parametr (PermitRootLogin yes) w pliku /etc/ssh/sshd_config

vim /etc/ssh/sshd_config

(UWAGA nigdy tego nie róbmy na produkcyjnych serwerach, NIGDY!)

Logowanie po SSH

ssh-copy-id root@localhost -p 2222 ssh root@localhost -p 2222

Zmieniamy hostname

Jeśli podczas instalacji nie ustawiliśmy adresu naszej maszyny możemy zrobić to teraz:

Do pliku /etc/sysconfig/network dodajemy wpis:

NETWORKING=yes
HOSTNAME=sandbox.hortonworks.com

Sprawdzamy za pomocą:

hostname
hostname -f

Polecenie hostname i hostname -f powinny zwracać tą samą wartość.

Warto też ustawić to samo w pliku hosts:

vim /etc/hosts

wartość pliku:

127.0.0.1   sandbox sandbox.hortonworks.com
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

Po tej operacji warto zrestartować system.

Konfiguracja epel release

Dodajemy repozytorium dodatkowych narzędzi systemowych

yum -y install epel-release

Instalacja przydatnych narzędzi

yum -y install wget vim htop ntp openssh-server openssh-clients nano bash-completion tree

Konfiguracja kluczy publicznego i prywatnego

Hadoop do działania wymaga by użytkownik systemowy mógł logować się do innych maszyn bez hasła za pomocą infrastruktury klucza prywatnego i publicznego, dlatego wykonujemy poniższe polecenia: (przy pierwszym naciskamy klawisz Enter kilka razy, przy drugim wybieramy yes i wpisujemy hasło użytkownika root)

ssh-keygen
ssh-copy-id sandbox.hortonworks.com
ssh sandbox.hortonworks.com

Wyłączamy SELINUX

sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

setenforce 0

sestatus

Wyłączamy Firewall’a

chkconfig iptables off
/etc/init.d/iptables stop

Włączamy serwer czasu NTP

yum install -y ntp

chkconfig ntpd on
service ntpd start

Ustawiamy zalecany domyślny umask

umask 0022
echo umask 0022 >> /etc/profile

Na koniec restartujemy maszynę.

Instalacja Apache Ambari

Dodajemy repozytorium Ambari

wget -nv http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.6.1.3/ambari.repo -O /etc/yum.repos.d/ambari.repo
wget -nv http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.6.4.0/hdp.repo -O /etc/yum.repos.d/hdp.repo
yum repolist
yum update
yum upgrade

Instalujemy Ambari

yum install ambari-server -y

Konfigurujemy Ambari

(W każdym pytaniu wybieramy odpowiedź domyślną klikając klawisz Enter za każdrym razem)

ambari-server setup

Restartujemy Ambari

ambari-server start

Po tej operacji można zrestartować maszynę. Przed kontynuacją ustawmy naszej maszynie przynajmniej 4 rdzenie oraz przynajmniej 8GB RAM.

Instalacja dystrybucji Hortonworks

Jeśli wszystko poszło jak trzeba, możemy zalogować się do Ambari we własnej przeglądarce pod adresem: http://localhost:8080/

Instalacja sterownika JDBC

yum -y install mysql-connector-java*
ls -al /usr/share/java/mysql-connector-java.jar
cd /var/lib/ambari-server/resources/
ln -s /usr/share/java/mysql-connector-java.jar mysql-connector-java.jar

Instalacja środowiska graficznego

Instalacja pakietów i narzędzi

yum -y groupinstall "X Window System"
yum -y groupinstall "Desktop"
yum -y groupinstall "General Purpose Desktop"
yum -y groupinstall "Desktop Platform"
yum -y groupinstall "Graphical Administration Tools"
yum -y groupinstall "Fonts"
yum -y groupinstall "Internet Browser"

Instalacja przydatnych narzędzi

yum -y install gnome-system-monitor firefox htop git vim mc gedit wget

Instalacja dodatków dla Virtualbox Guest

yum -y install kernel*
yum -y install gcc kernel-devel kernel-headers dkms make bzip2 perl

Dodawanie użytkownika

adduser sages
passwd sages

Restartujemy maszynę

Uruchomienie trybu graficznego

startx

Legenda

https://docs.hortonworks.com/HDPDocuments/Ambari-2.5.1.0/bk_ambari-installation/content/ambari_repositories.html

Ambari i biblioteka libtirpc-devel

Fri, 17 Nov 2017 19:09:57 +0100

Podczas instalacji Ambari na najnowszych platformach CentOS / Red Hat możemy dostać błąd podobny do poniższego:

2017-11-17 13:04:44,147 - Execution of '/usr/bin/yum -d 0 -e 0 -y install hadoop_2_6_3_0_235-client' returned 1. Error: Package: hadoop_2_6_3_0_235-hdfs-2.7.3.2.6.3.0-235.x86_64 (HDP-2.6)
           Requires: libtirpc-devel
 You could try using --skip-broken to work around the problem
 You could try running: rpm -Va --nofiles --nodigest
2017-11-17 13:04:44,147 - Failed to install package hadoop_2_6_3_0_235-client. Executing '/usr/bin/yum clean metadata'

W celu dokończenia instalacji wystarczy zainstalować brakującą zależność:

Dla Red Hat 7.x

sudo yum install https://www.rpmfind.net/linux/centos/7.6.1810/os/x86_64/Packages/libtirpc-devel-0.2.4-0.15.el7.x86_64.rpm

(Aktualną wersję ścieżki należy sprawdzić na https://rpmfind.net/linux/rpm2html/search.php?query=libtirpc-devel%28x86-64%29&submit=Search+...&system=CentOS&arch=)

Ścieżka do powyższego pliku może się zmieniać (zwiększa się numer wersji), gdy dostaniemy błąd “nie ma pliku” bądź “nie ma nic do zrobienia” należy sprawdzić czy ścieżka jest poprawna.

Sandbox Big Data

Fri, 07 Jul 2017 00:00:00 +0000

W dzisiejszym poście chciałbym Wam udostępnić maszynę wirtualną z którą można łatwo rozpocząć swoją przygodę z Big Data. Wiele osób uczestniczących w naszych kursach Big Data i Data Science narzeka, że dla początkujących osób często problemem jest zestawienia sobie odpowiedniego środowiska.

By wyjść naprzeciw tym wszystkim osobom przygotowałem specjalną maszynę wirtualną która zawiera:

System CentOS 7.5
Java
Scala
IntelliJ IDEA
Docker
Docker Compose
Git
Maven
Dystrybucja Hortonworks

oraz wiele innych przydatnych narzędzi. W środku wrzucony jest także nasz otwarto źródłowy projekt: https://github.com/sagespl/HADOOP oraz przykładowe dane do pracy.

Praca w środowisku graficznym

Najłatwiej zacząć pracę z samą maszyną w środowisku graficznym. W tym celu należy ją jedynie uruchomić i zalogować się jako:

user: sages
pass: hadoop

Do dyspozycji mamy GNOME 3, bardzo ergonomiczny manager do codziennej pracy.

Praca z SSH

Do maszyny można też połączyć się

ssh root@localhost -p 2222

Dzięki SSH można też tunelować sobie niektóre porty (inaczej mówiąc mapować porty z maszyny wirtualnej na nasz komputer)

ssh root@localhost -L 8020:localhost:8020 -L 50070:localhost:50070 -p 2222
ssh root@localhost -L 8020:localhost:8020 -L 50070:localhost:50070 -L 2181:localhost:2181 -L 16000:localhost:16000 -L 16020:localhost:16020 -p 2222
ssh root@localhost -L 9092:localhost:9092 -L 9093:localhost:9093 -L 9094:localhost:9094 -p 2222

Jeśli nie chcemy wpisywać za każdym razem ciągu znaków jak wyżej, możemy sobie całość zdefiniować w pliku ~/.ssh/config

Host bigdatasandbox
    Hostname localhost
    Port 2222
    User root
    LocalForward 8020 localhost:8020
    LocalForward 50070 localhost:50070
    LocalForward 9092 localhost:9092
    LocalForward 6667 localhost:6667

Możemy po ssh także zamontować sobie dysk z maszyny w naszym własnym (można też użyć odpowiednich opcji z VirtualBoxa)

mkdir /tmp/sages
sshfs sages@localhost:/home/sages /tmp/sages/ -p 2222 -o cache_timeout=80 -f -o allow_other -o no_remote_lock

Mapowanie portów

W maszynie jest zainstalowana dystrybucja Big Data firmy Hortonworks tak zwana Hortonworks Data Platform która pracuje na następujących portach:

Ambari jest dostępne na porcie 8080:

http://sandbox.hortonworks.com:8080

W maszynie wirtualnej wystawione są następujące porty:

VBoxManage modifyvm "Big Data Sandbox" --natpf1 delete "SSH"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 delete "Ambari"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 delete "NameNodeHttp"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 delete "NameNodeHttps"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 delete "NameNodeMetadata"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 delete "DataNodeHttp"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 delete "DataNodeHttps"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 delete "DataNodeData"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 delete "DataNodeDatas"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 delete "DataNodeMetadata"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 delete "SecondaryNameNodeHttp"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 delete "ResourceManagerUI"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 delete "JobHistoryUI"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 delete "Zookeeper"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 delete "HMaster"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 delete "HMasterInfoWebUI"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 delete "RegionServer"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 delete "RegionServerInfo"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 delete "SparkHistoryUI"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 delete "Spark2HistoryUI"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 delete "Oozie"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 delete "Kafka"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 delete "KafkaAmbari"

VBoxManage showvminfo "Big Data Sandbox" | grep Rule

VBoxManage modifyvm "Big Data Sandbox" --natpf1 "SSH,tcp,127.0.0.1,2222,,22"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 "Ambari,tcp,127.0.0.1,8080,,8080"
#VBoxManage modifyvm "Big Data Sandbox" --natpf1 "NameNodeHttp,tcp,127.0.0.1,50070,,50070"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 "NameNodeHttps,tcp,127.0.0.1,50470,,50470"
#VBoxManage modifyvm "Big Data Sandbox" --natpf1 "NameNodeMetadata,tcp,127.0.0.1,8020,,8020"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 "DataNodeHttp,tcp,127.0.0.1,50075,,50075"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 "DataNodeHttps,tcp,127.0.0.1,50475,,50475"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 "DataNodeData,tcp,127.0.0.1,50010,,50010"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 "DataNodeDatas,tcp,127.0.0.1,1019,,1019"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 "DataNodeMetadata,tcp,127.0.0.1,50020,,50020"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 "SecondaryNameNodeHttp,tcp,127.0.0.1,50090,,50090"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 "ResourceManagerUI,tcp,127.0.0.1,8088,,8088"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 "JobHistoryUI,tcp,127.0.0.1,19888,,19888"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 "Zookeeper,tcp,127.0.0.1,2181,,2181"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 "HMaster,tcp,127.0.0.1,16000,,16000"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 "HMasterInfoWebUI,tcp,127.0.0.1,16010,,16010"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 "RegionServer,tcp,127.0.0.1,16020,,16020"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 "RegionServerInfo,tcp,127.0.0.1,16030,,16030"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 "SparkHistoryUI,tcp,127.0.0.1,18080,,18080"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 "Spark2HistoryUI,tcp,127.0.0.1,18081,,18081"
VBoxManage modifyvm "Big Data Sandbox" --natpf1 "Oozie,tcp,127.0.0.1,11000,,11000"
#VBoxManage modifyvm "Big Data Sandbox" --natpf1 "Kafka,tcp,127.0.0.1,9092,,9092"
#VBoxManage modifyvm "Big Data Sandbox" --natpf1 "KafkaAmbari,tcp,127.0.0.1,6667,,6667"

VBoxManage showvminfo "Big Data Sandbox" | grep Rule

Uruchomienie maszyny

Możemy to zrobić z GUI programu VirtualBox lub z konsoli:

VBoxManage startvm "Big Data Sandbox"
VBoxManage startvm "Big Data Sandbox" --type headless

Instalacja dystrybucji Hortonworks Data Platform za pomocą Apache Ambari

Mon, 03 Jul 2017 00:00:00 +0000

Instrukcja instalacji dystrybucji Hortonworks Data Platform HDP-2.6 na maszynach z systemem Red Hat 7 lub CentOS 7.

Do instalacji zostanie użyte:

HDP-2.6.3.0
Apache Ambari w wersji 2.5.1.0.
CentOS 7.5.1804 (Minimal ISO)

W przypadku systemów produkcyjnych jedyną zalecaną opcją jest instalacja w klastrze kilku maszyn. Jedną maszynę możemy wykorzystywać do celów testowych i developerskich.

Przygotowanie maszyn

Taką instalację możemy przeprowadzić w dowolnym środowisku, np. z użyciem VirtualBoxa lub chmury AWS

Klaster ssh

Jeśli chcemy wykonywać wybrane polecenia jednocześnie na wszystkich maszynach możemy użyć polecenia cssh.

cssh root@hdp1 root@hdp2 root@hdp3

Jeśli wolimy klasyczne ssh, logujemy się na każdą maszynę oddzielnie:

ssh root@hdp1

UWAGA: Wszystkie dalsze polecenia wykonujemy zalogowani jako użytkownik root

Dostęp do internetu

Żeby instalować dodatkowe pakiety musimy mieć dostęp do internetu. Jeśli nie jest on dostępny, można spróbować włączyć DHCP.

Aby włączyć ręcznie DHCP należy wykonać:

dhclient -v

W celu skonfigurowania tego na stałe warto zmienić wartość (ONBOOT=yes) w pliku /etc/sysconfig/network-scripts/ifcfg-eth0

yum install -y vim
vim /etc/sysconfig/network-scripts/ifcfg-enp0s3

Włączamy logowanie root’a po haśle

Jeśli chcemy umożliwić logowanie użytkownika root po haśle ustawiamy parametr (PermitRootLogin yes) w pliku /etc/ssh/sshd_config

vim /etc/ssh/sshd_config

(UWAGA nigdy tego nie róbmy na produkcyjnych serwerach, NIGDY!)

Logowanie po SSH

ssh-copy-id root@localhost -p 2222
ssh root@localhost -p 2222

Aktualizacja systemu

Żeby pracować na najnowszej wersji systemu należy go zaktualizować

yum -y update
yum -y upgrade

Instalacja epel release

CentOS:

yum install -y epel-release

Red Hat:

cd /tmp
yum install -y wget
wget https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
yum install -y epel-release-latest-7.noarch.rpm
yum repolist

Instalacja kolejnych przydatnych narzędzi

yum -y install wget vim htop ntp openssh-server openssh-clients nano bash-completion tree mc byobu ncdu

Zmieniamy hostname (opcjonalnie)

Uwaga, ustawiamy nowe wpisy hostname tylko i wyłącznie wtedy gdy chcemy je zmienić na własne. W wielu przypadkach możemy zostawić obecne hosty o ile są jakieś dostępne.

Na każdej z maszyn ustawiamy inny hostname, na przykład:

hostnamectl set-hostname hdp1.hortonworks.com --static
hostnamectl set-hostname hdp2.hortonworks.com --static
hostnamectl set-hostname hdp3.hortonworks.com --static

jeśli mamy jedną maszynę możemy ustawić:

hostnamectl set-hostname sandbox.hortonworks.com

Status możemy sprawdzić

hostnamectl status
hostname
hostname -f

Polecenie hostname i hostname -f powinny zwracać tą samą wartość.

Konfigurujemy hostów

Żeby maszyny się “widziały” musimy każdej ustawić odpowiedni hostname:

192.168.172.201 hdp1 hdp1.hortonworks.com
192.168.172.202 hdp2 hdp2.hortonworks.com
192.168.172.203 hdp3 hdp3.hortonworks.com

Oczywiście lista zależy od liczby maszyn (w tym przypadku 3) oraz adresach ip które można sprawdzić za pomocą polecenia “ip a”. Trzeba także pamiętać że “swój” hostname dodaliśmy w korku poprzednim, więc musimy go pominąć.

Dla jednego serwera możemy użyć localhost/127.0.0.1:

127.0.0.1   sandbox sandbox.hortonworks.com
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

Konfigurujemy logowanie SSH bez hasła

Na każdej maszynie generujemy zestaw kluczy:

ssh-keygen

Na maszynie hdp1 wyświetlamy sobie klucz publiczny:

cat .ssh/id_rsa.pub

Pobrany klucz maszyny hdp1 wklejamy na każdej maszynie (także hdp1) do pliku:

vim .ssh/authorized_keys

Jeśli wszystko poszło jak trzeba z maszyny hdp1 możemy teraz zalogować się po SSH do każdej innej maszyny:

ssh hdp3

Jeśli instalujemy to na jednej maszynie wystarczy wykonać:

ssh-keygen
ssh-copy-id sandbox.hortonworks.com
ssh sandbox.hortonworks.com

Wyłączamy selinux

Edytujemy plik /etc/sysconfig/selinux ustawiając SELINUX na disabled.

sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

setenforce 0

sestatus

Wyłączamy Firewall’a

systemctl disable firewalld
systemctl stop firewalld
systemctl status firewalld

systemctl disable firewalld.service
systemctl stop firewalld.service
systemctl status firewalld.service

Włączamy serwer czasu NTP

yum install -y ntp

systemctl disable chrony.service

systemctl enable ntpd
systemctl start ntpd
systemctl status ntpd

systemctl enable ntpd.service
systemctl is-enabled ntpd.service
systemctl start ntpd.service
systemctl status ntpd.service

Umask

umask 022
echo umask 022 >> ~/.bash_profile
echo umask 022 >> /etc/profile

Restart maszyn

Teraz warto wykonać restart wszystkich maszyn poleceniem reboot

Instalacja Apache Ambari

UWAGA: Od teraz wszystkie operacje wykonujemy tylko na maszynie hdp1

wget -nv http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.1.3/ambari.repo -O /etc/yum.repos.d/ambari.repo

wget -nv http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.4.0/hdp.repo -O /etc/yum.repos.d/hdp.repo

yum repolist
yum update

Instalujemy Ambari

yum install ambari-server -y

Konfigurujemy Ambari

(W każdym pytaniu wybieramy odpowiedź domyślną klikając klawisz Enter za każdrym razem)

ambari-server setup

W przypadku ambari-server setup upewniamy się, że nie ma żadnych ostrzeżeń, zaś na wszystkie pytania odpowiadamy wartościami domyślnymi klikając enter:

[root@hdp1 ~]# ambari-server setup
Using python  /usr/bin/python
Setup ambari-server
Checking SELinux...
SELinux status is 'disabled'
Customize user account for ambari-server daemon [y/n] (n)? 
Adjusting ambari-server permissions and ownership...
Checking firewall status...
Checking JDK...
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7
[3] Custom JDK
==============================================================================
Enter choice (1): 
To download the Oracle JDK and the Java Cryptography Extension (JCE) Policy Files you must accept the license terms found at http://www.oracle.com/technetwork/java/javase/terms/license/index.html and not accepting will cancel the Ambari Server setup and you must install the JDK and JCE files manually.
Do you accept the Oracle Binary Code License Agreement [y/n] (y)? 
Downloading JDK from http://public-repo-1.hortonworks.com/ARTIFACTS/jdk-8u112-linux-x64.tar.gz to /var/lib/ambari-server/resources/jdk-8u112-linux-x64.tar.gz
jdk-8u112-linux-x64.tar.gz... 100% (174.7 MB of 174.7 MB)
Successfully downloaded JDK distribution to /var/lib/ambari-server/resources/jdk-8u112-linux-x64.tar.gz
Installing JDK to /usr/jdk64/
Successfully installed JDK to /usr/jdk64/
Downloading JCE Policy archive from http://public-repo-1.hortonworks.com/ARTIFACTS/jce_policy-8.zip to /var/lib/ambari-server/resources/jce_policy-8.zip

Successfully downloaded JCE Policy archive to /var/lib/ambari-server/resources/jce_policy-8.zip
Installing JCE policy...
Completing setup...
Configuring database...
Enter advanced database configuration [y/n] (n)? 
Configuring database...
Default properties detected. Using built-in database.
Configuring ambari database...
Checking PostgreSQL...
Running initdb: This may take up to a minute.
Initializing database ... OK


About to start PostgreSQL
Configuring local database...
Configuring PostgreSQL...
Restarting PostgreSQL
Creating schema and user...
done.
Creating tables...
done.
Extracting system views...
ambari-admin-2.5.0.3.7.jar
...........
Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.

Uruchamiamy Ambari

ambari-server start

Konfiguracja klastra HDP

Następnie wchodzimy na adres: http://hdp1:8080 (lub inny wybrany hostname) i całą instalację kontynuujemy w trybie graficznym. Logujemy się jako admin / admin.

Następnie klikamy przycisk Launch Install Wizard

Ustawiamy nazwę naszego klastra

Wybieramy wersję dystrybucji którą chcemy zainstalować

W kolejnym ekranie w polu Target Hosts wskazujemy pełne adresy wybranych maszyn na których chcemy postawić dystrybucję

hdp1.hortonworks.com
hdp2.hortonworks.com
hdp3.hortonworks.com

lub dla jednej maszyny:

sandbox.hortonworks.com

oraz wklejamy zawartość pliku /root/.ssh/id_rsa maszyny na której zainstalowaliśmy Ambari

Po kliknięciu Register and Confirm Ambari przygotowuje nasze maszyny do instalacji

Po zakończonym procesie powinniśmy dostać informację o udanym przygotowaniu maszyn

Jeśli jednak mamy informację o ostrzeżeniach, należy przejrzeć ich listę i rozwiązać problemy

Następnie wybieramy narzędzia które chcemy zainstalować (ilość i rodzaj według uznania, np. HDFS, MapReduce2, Tez, Hive, Pig, HBase, Oozie, Flume, Ambari Metrics)

Wskazujemy na których maszynach mają być zainstalowane usługi zarządzające (Masters) (można zostawić na początek proponowane rozmieszczenie)

oraz usługi robocze (Slaves) (wybieramy wszystkie 3 maszyny dla każdej z usług)

Akceptujemy ostrzeżenia i dostajemy podsumowanie instalacji

Na koniec Ambari zaczyna instalować wszystkie usługi zgodnie z naszymi wytycznymi

Po zakończonej instalacji możemy korzystać już w pełni wdrożonego klastra.

Legenda

CentOS 7 - Instalacja środowiska developerskiego

Sun, 02 Jul 2017 00:00:00 +0000

Jeśli ktoś chciałby pracować na co dzień z systemem CentOS 7 w trybie graficznym, poniżej krótka instrukcja jak to zrobić.

Dodatkowo opis konfiguracji dla VirtualBox’a dla chcącym korzystać tylko na maszynie wirtualnej.

Instalacja systemu

Proces instalacji systemu jest bardzo prosty, wystarczy postępować zgodnie z poleceniami na ekranie, dlatego zostanie pominięty.

Aktualizacja systemu

Żeby pracować na najnowszej wersji systemu należy go zaktualizować

yum -y update
yum -y upgrade

Instalacja środowiska graficznego

Instalacja pakietów i narzędzi

yum -y groups install "GNOME Desktop"

Jeśli chcemy przejrzeć inne grupy możemy wpisać:

yum groups summary

lub

yum group list ids

lub

yum group list

Żeby zobaczyć zawartość grupy należy wpisać w terminalu:

yum group info "GNOME Desktop"

Instalacja przydatnych narzędzi

yum install -y epel-release
yum -y install wget vim htop ntp openssh-server openssh-clients nano bash-completion tree mc byobu ncdu
yum -y install gnome-system-monitor firefox git gedit 
yum -y install gnome-tweak-tool

Dodawanie użytkownika

adduser sages
passwd sages

Restartujemy maszynę

Uruchomienie trybu graficznego

startx

Uruchomienie domyślnie w trybie graficznym

systemctl set-default graphical.target

VirtualBox

Instalacja dodatków dla Virtualbox Guest

yum -y install kernel*
yum -y install gcc kernel-devel kernel-headers dkms make bzip2 perl

Instalacja Dockera i Docker Compose

https://docs.docker.com/install/linux/docker-ce/centos/ https://docs.docker.com/compose/install/#install-compose

Docker bez root’a

Jeśli chcemy by inny użytkownik niż root mógł wykonywać polecenia dockera, należy dać mu uprawnienia sudo do polecenia docker. Należy wtedy dodać wpis do pliku /etc/sudoers:

sages        ALL=(ALL)       NOPASSWD: /usr/bin/docker
sages        ALL=(ALL)       NOPASSWD: /usr/local/bin/docker-compose

warto przy okazji dadać aliasy do pliku ~/.bashrc:

alias docker="sudo /usr/bin/docker"
alias docker-compose="sudo /usr/local/bin/docker-compose"

Instalacja dodatkowych narzędzi

Instalacja MySQL

Aktualnie większość systemów Linux dostarcza domyślnie pakiety dla MariaDB a nie MySQL’a z którego korzysta Ambari, dlatego musimy pobrać najnowszą wersję ze strony: https://dev.mysql.com/downloads/repo/yum/

wget https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm
rpm -Uvh mysql57-community-release-el7-11.noarch.rpm
yum update

lub

wget https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm
yum localinstall mysql57-community-release-el7-11.noarch.rpm
yum update

Gdybyśmy mieli problemy możemy skorzystać z

yum clean all
yum clean dbcache
yum clean metadata
yum makecache

Instalacja dystrybucji Hortonworks Data Platform za pomocą Apache Ambari

Fri, 05 May 2017 19:24:48 +0200

Instrukcja instalacji dystrybucji Hortonworks Data Platform HDP-2.6.3.0 na maszynach z systemem Red Hat 6.9 lub CentOS 6.9. Do instalacji zostanie użyte Apache Ambari w wersji 2.5.1.0.

Klaster ssh

Jeśli chcemy wykonywać wybrane polecenia jednocześnie na wszystkich maszynach możemy użyć polecenia cssh.

cssh root@hdp1 root@hdp2 root@hdp3

Jeśli wolimy klasyczne ssh, logujemy się na każdą maszynę oddzielnie:

ssh root@hdp1

UWAGA: Wszystkie dalesze polecenia wykonujemy zalogowani jako użytkownik root

Aktualizacja systemu

yum update -y

Instalacja przydatnych narzędzi

yum install -y wget

Instalacja epel release

CentOS:

yum install -y epel-release

Red Hat:

cd /tmp
wget https://dl.fedoraproject.org/pub/epel/epel-release-latest-6.noarch.rpm
yum install -y epel-release-latest-6.noarch.rpm
yum repolist

Instalacja kolejnych przydatnych narzędzi

yum -y install wget vim htop ntp openssh-server openssh-clients nano bash-completion tree

Zmieniamy hostname (opcjonalnie)

Ten krok wykonujemy jeśli chcemy zmienić hostname w systemie.

Obecny hostname możemy sprawdzić za pomocą:

hostname
hostname -f
# lub hostname --fqdn

Pierwsze polecenie pokazuje krótszą wartość, drugie pełną nazwę.

W celu zmiany edytujemy plik:

vim /etc/sysconfig/network

Zmieniamy wartość linijki (odpowiednio na każdej maszynie):

HOSTNAME=hdp1.hortonworks.com

Pdobnie wpisujemy “swój” hostname w pliku /etc/hosts

vim /etc/hosts

na odpowiednią wartość:

127.0.0.1 hdp1 hdp1.hortonworks.com

Na koniec wykonujemy:

/etc/init.d/network restart

lub najlepiej restart całego systemu :)

Konfigurujemy hostów

Żeby maszyny się “widziały” musimy każdej ustawić odpowiedni hostname:

192.168.172.201 hdp1 hdp1.hortonworks.com
192.168.172.202 hdp2 hdp2.hortonworks.com
192.168.172.203 hdp3 hdp3.hortonworks.com

Konfigurujemy logowanie SSH bez hasła

Na każdem maszynie generujemy zestaw kluczy:

ssh-keygen

Na maszynie hdp1 wyświetlamy sobie klucz publiczny:

cat .ssh/id_rsa.pub

Pobrany klucz maszyny hdp1 wklejami na każdej maszynie (także hdp1) do pliku:

vim .ssh/authorized_keys

Jeśli wszystko poszło jak trzeba z maszyny hdp1 możemy teraz zalogować się po SSH do każdej innej maszyny:

ssh hdp3

Wyłączamy selinux

Edytujemy plik /etc/sysconfig/selinux ustawiając SELINUX na disabled.

sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

sestatus

Wyłączamy Firewall’a

service iptables stop
/etc/init.d/iptables stop
chkconfig iptables off

Włączamy serwer czasu NTP

yum install -y ntp
chkconfig ntpd on

Umask

echo umask 022 >> ~/.bash_profile
echo umask 022 >> /etc/profile

Restart maszyn

Teraz warto wykonać restart wszystkich maszyn poleceniem reboot

Instalacja Apache Ambari

UWAGA: Od teraz wszystkie operacje wykonujemy tylko na maszynie hdp1

wget -nv http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.5.1.0/ambari.repo -O /etc/yum.repos.d/ambari.repo
yum install ambari-server -y
ambari-server setup

W przypadku ambari-server setup upewniamy się, że nie ma żadnych ostrzeżeń, zaś na wszystkie pytania odpowiadamy wartościami domyślnymi klikając enter:

[root@hdp1 ~]# ambari-server setup
Using python  /usr/bin/python
Setup ambari-server
Checking SELinux...
SELinux status is 'disabled'
Customize user account for ambari-server daemon [y/n] (n)? 
Adjusting ambari-server permissions and ownership...
Checking firewall status...
Checking JDK...
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7
[3] Custom JDK
==============================================================================
Enter choice (1): 
To download the Oracle JDK and the Java Cryptography Extension (JCE) Policy Files you must accept the license terms found at http://www.oracle.com/technetwork/java/javase/terms/license/index.html and not accepting will cancel the Ambari Server setup and you must install the JDK and JCE files manually.
Do you accept the Oracle Binary Code License Agreement [y/n] (y)? 
Downloading JDK from http://public-repo-1.hortonworks.com/ARTIFACTS/jdk-8u112-linux-x64.tar.gz to /var/lib/ambari-server/resources/jdk-8u112-linux-x64.tar.gz
jdk-8u112-linux-x64.tar.gz... 100% (174.7 MB of 174.7 MB)
Successfully downloaded JDK distribution to /var/lib/ambari-server/resources/jdk-8u112-linux-x64.tar.gz
Installing JDK to /usr/jdk64/
Successfully installed JDK to /usr/jdk64/
Downloading JCE Policy archive from http://public-repo-1.hortonworks.com/ARTIFACTS/jce_policy-8.zip to /var/lib/ambari-server/resources/jce_policy-8.zip

Successfully downloaded JCE Policy archive to /var/lib/ambari-server/resources/jce_policy-8.zip
Installing JCE policy...
Completing setup...
Configuring database...
Enter advanced database configuration [y/n] (n)? 
Configuring database...
Default properties detected. Using built-in database.
Configuring ambari database...
Checking PostgreSQL...
Running initdb: This may take up to a minute.
Initializing database ... OK


About to start PostgreSQL
Configuring local database...
Configuring PostgreSQL...
Restarting PostgreSQL
Creating schema and user...
done.
Creating tables...
done.
Extracting system views...
ambari-admin-2.5.0.3.7.jar
...........
Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.

Uruchamiamy Ambari

ambari-server start

Konfiguracja klastra HDP

Następnie wchodzimy na adres: http://hdp1:8080 i całą instalację kontynuujemy w trybie graficznym. Logujemy się jako admin / admin.

Następnie klikamy przycisk Launch Install Wizard

Ustawiamy nazwę naszego klastra

Wybieramy wersję dystrybucji którą chcemy zainstalować

W kolejnym ekranie w polu Target Hosts wskazujemy pełne adresy wybranych maszyn na których chcemy postawić dystrybucję

hdp1.hortonworks.com
hdp2.hortonworks.com
hdp3.hortonworks.com

oraz wklejamy zawartość pliku /root/.ssh/id_rsa maszyny na której zainstalowaliśmy Ambari

Po kliknięciu Register and Confirm Ambari przygotowuje nasze maszyny do instalacji

Po zakończonym procesie powinniśmy dostać informację o udanym przygotowaniu maszyn

Jeśli jednak mamy informację o ostrzeżeniach, należy przejrzeć ich listę i rozwiązać problemy

Następnie wybieramy narzędzia które chcemy zainstalować (ilość i rodzaj według uznania, np. HDFS, MapReduce2, Tez, Hive, Pig, HBase, Oozie, Flume, Ambari Metrics)

Wskazujemy na których maszynach mają być zainstalowane usługi zarządzające (Masters) (można zostawić na początek proponowane rozmieszczenie)

oraz usługi robocze (Slaves) (wybieramy wszystkie 3 maszyny dla każdej z usług)

Akceptujemy ostrzeżenia i dostajemy podsumowanie instalacji

Na koniec Ambari zaczyna instalować wszystkie usługi zgodnie z naszymi wytycznymi

Po zakończonej instalacji możemy korzystać już w pełni wdrożonego klastra.