CentOS/RedHat on BigDataPassion

Ambari i biblioteka libtirpc-devel

Fri, 17 Nov 2017 19:09:57 +0100

Podczas instalacji Ambari na najnowszych platformach CentOS / Red Hat możemy dostać błąd podobny do poniższego:

2017-11-17 13:04:44,147 - Execution of '/usr/bin/yum -d 0 -e 0 -y install hadoop_2_6_3_0_235-client' returned 1. Error: Package: hadoop_2_6_3_0_235-hdfs-2.7.3.2.6.3.0-235.x86_64 (HDP-2.6)
           Requires: libtirpc-devel
 You could try using --skip-broken to work around the problem
 You could try running: rpm -Va --nofiles --nodigest
2017-11-17 13:04:44,147 - Failed to install package hadoop_2_6_3_0_235-client. Executing '/usr/bin/yum clean metadata'

W celu dokończenia instalacji wystarczy zainstalować brakującą zależność:

Dla Red Hat 7.x

sudo yum install https://www.rpmfind.net/linux/centos/7.6.1810/os/x86_64/Packages/libtirpc-devel-0.2.4-0.15.el7.x86_64.rpm

(Aktualną wersję ścieżki należy sprawdzić na https://rpmfind.net/linux/rpm2html/search.php?query=libtirpc-devel%28x86-64%29&submit=Search+...&system=CentOS&arch=)

Ścieżka do powyższego pliku może się zmieniać (zwiększa się numer wersji), gdy dostaniemy błąd “nie ma pliku” bądź “nie ma nic do zrobienia” należy sprawdzić czy ścieżka jest poprawna.

Testowy klaster obliczeniowy - Amazon Web Services i CentOS 7

Tue, 20 Jun 2017 12:59:11 +0200

Publiczne chmury obliczeniowe cieszą się coraz większym zainteresowaniem. Jedną z najbardziej popularnych rozwiązań tego typu jest zdecydowanie Amazon Web Services. W poniższym krótkim tutorialu pokażę jak szybko zbudować mini klaster testowy do zastosowań Big Data, na którym będziemy mogli wdrożyć na przykład platformę HDP (instalacji poświęcony został inny tutorial).

Założenie konta

Nasz proces musimy zacząć od założenia konta w serwisie (https://aws.amazon.com/console/) wybierając opcję “Sign in to the Console” a następnie wybranie opcji “I am a new user” i wypełnienie formularza.

Rejestracja jest dość prosta, jedynym utrudnieniem może się okazać konieczność podania karty kredytowej z której będą dokonywane płatności za comiesięczny rachunek około trzeciego dnia następnego miesiąca. Dodatkowo w momencie rejestracji, w celu potwierdzenia karty kredytowej, zostanie pobrana opłata w wysokości jednego dolara.

Planowanie kosztów

Amazon udostępnia możliwość tworzenia maszyn na życzenie (on demand) za które płacimy zgodnie z wykorzystaniem (płatność za godzinę użycia). Aktualny cennik możemy znaleźć pod adresem: https://aws.amazon.com/ec2/pricing/on-demand/. Należy zwrócić uwagę, że ceny zależą od lokalizacji w której będziemy tworzyć maszyny (najtaniej jest w USA, np. Oregon lub Virginia) oraz dostępność wersji maszyn także zależy od kolokacji. Dla przykładu za maszynę m4.xlarge (4 CPU, 16 GB RAM) w Oregon zapłacimy 0.2 $ za godzinę użycia (włącozna maszyna). Dodatkowo naliczane są ceny za wykorzystane powierzchnie dyskowe. Całość naszego wdrożenia, najlepiej sprawdzić za pomocą kalkulatora: https://calculator.s3.amazonaws.com/index.html wybierając w zakładce EC2 odpowiednie maszyny, ich ilość i planowane wykorzystanie przestrzeni dyskowej.

Tworzenie klastra maszyn na AWS

Poniżej kolejne kroki w celu uzyskania kompletnego klastra obliczeniowego na Amazon Web Services.

Całość zaczynamy od wejścia na stronę: https://console.aws.amazon.com/console/ a następnie z menu usług wybieramy “EC2”. Powinniśmy zobaczyć ekran jak niżej:

Na górze widzimy podsumowanie statusu w ramach aktualnie wybranej lokalizacji którą możemy zmienić w prawym górnych rogu (w moim przypadku jest to Virginia w USA).

Jeśli klikniemy menu “Running Instances” zobaczymy listę maszyn dostępnych w tej lokalizacji (w tym przypadku pustą).

Aby stworzyć nowe maszyny klikamy “Launch Instances”. W wyniku dostajemy listę obrazów systemów do załadowania.

W prezentowanej liście brakuje systemu CentOS którego chcemy użyć, dlatego skorzystamy z marketu (AWS Marketplace w menu po lewej) i wbudowanej wyszukiwarki. Wybieramy interesującą nas wersję i klikamy “Select”

Po wybraniu odpowiedniego obrazu otrzymujemy jego podsumowanie. Warto przejrzeć zawarte tam informacje, gdyż możemy się dowiedzieć na przykład jak będzie się nazywał domyślny użytkownik na którego mamy się połączyć po SSH oraz czy obraz jest płatny

Następnie przechodzimy do wybrania typu maszyny. Do naszego klastra testowego skorzystamy z maszyn typu “m4.xlarge” (4 CPU, 16GB RAM)

W kolejnym oknie możemy zdefiniować liczbę maszyn wybranego typu oraz ustawić dodatkowe opcj. Ustawiam 7 maszyn

W następnym oknie definiujemy przestrzeń dyskową dla naszych maszyn. W poniższym przykładzie wybrałem dyski magnetyczne o pojemności 100 GB

Kolejny krok możemy pominąć, umożliwia on dodanie dodatkowych tagów do maszyn

AWS promuje wykorzystanie droższych dysków SSD, więc musimy potwierdzić swój wybór dysków HDD (lub wybrać jednak dyski SSD)

W kolejnym kroku definiujemy konfigurację zabezpieczeń (firewall) poprzez stworzenie nowej grupy. Z racji tworzenia klastra testowego otworzę cały ruch do tych maszyn (uwaga, w żadnym wypadku nie należy tego robić produkcyjnie, gdyż każdy będzie miał dostęp do naszych maszyn i usług na wszystkich portach)

W ostatnim kroku dostajemy podsumowanie naszej stworzonej konfiguracji wraz z ostrzeżeniem że nasza konfiguracja będzie płatna (przez pierwszy rok korzystania z AWS dostajemy tak zwany “free tier” czyli pewien limit użycia za który nie musimy płacić). Klikamy “Launch” by potwierdzić naszą konfigurację.

Domyślny użytkownik systemów na AWS nie ma możliwości logowania się hasłem, dlatego w kolejnym kroku jesteśmy proszeni o stworzenie odpowiedniego klucza który posłuży nam do zalogowania się na niego. Ten klucz musimy zapisać na swoim komputerze oraz nikomu go nie udostępniać.

Ostatecznie tworzą się nasze maszyny

i na koniec dostajemy podsumowanie

Klikając “View Instances” możemy zobaczyć listę naszych maszyn

Legenda

Testowy klaster obliczeniowy - VirtualBox 5 i CentOS 7

Thu, 04 May 2017 12:59:11 +0200

VirtualBox jest darmowym narzędziem firmy Oracle (poprzednio Sun Microsystems) pozwaląjącym na łatwą i wygodną wirtualizację na własnym komputerze. W bardzo szybki sposób jesteśmy w stanie stworzyć z jego pomocą klaster kilku maszyn i z powodzeniem używać go do testów.

Instalacja VirtualBox’a

VirtualBox’a można zainstalować na systemie Windows, Linux, MacOS i Solaris ściągając instalator ze strony projektu https://www.virtualbox.org/. Użytkownicy systemów Linux mogą go też łatwo i szybko zainstalować za pomocą repozytoriów (zalecane dla początkujących użytkowników).

Po zainstalowaniu możemy uruchomić narzędzie w trybie graficznym lub korzystać z linii komend. Ta druga opcja udostępnia większe możliwości, jednak jest adresowana do bardziej doświadczonych użytkowników, dlatego skorzystamy z wersji okienkowej.

Po uruchomieniu wersji graficznej powinniśmy zobaczyć coś takiego:

Stworzenie maszyny w VirtualBox

Teraz tworzymy nową czystą maszynę klikając New.

W nowo otwartym oknie wpisujemy nazwę, np. hadoop1, wybieramy Typ Linux i wersję Red Hat (64-bit) (CentOS jest oparty o dystrubucję Red Hat Enterprise Linux).

W kolejnym ekranie przydzielamy pamięć RAM do maszyny, np. 16 GB.

Tworzymy nowy wirtualny dysk dla naszej maszyny wirtualnej.

Wybieramy domyślny typ dysku VDI.

Ustawiamy dynamiczne alokowanie powierzchni dysku (nasz wirtualny dysk będzie miał od razu widoczną całkowitą powierzchnię, ale fizycznie plik na dysku komputera hosta na którym zainstalowany jest VirtualBox będzie miał wielkość proporcjonalną do wielkości zajmowanego miejsca na wirtualnym dysku).

Ustawiamy docelową wielkość dysku (z racji dynamicznej alokacji możemy ustawić więcej niż potrzebujemy, np. 100 GB) i klimay Create.

Nasza maszyna jest już utworzona i widzimy ją na liście.

Pobranie CentOS’a

Najnowszą siądmą wersję systemu CentOS (Community ENTerprise Operating System) można pobrać z https://www.centos.org/download/. Wybieramy wersję minimal ISO, resztę pobierzemy przez sieć http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-Minimal-1611.iso. Najszybciej będzie ściągnąć iso z serwerów ICM’u lub AGH.

Instalacja CentOS’a

Uruchamiamy utworzoną maszynę wirtualną przyciskiem Run. Następnie wybieramy wcześniej ściągnięty obraz ISO systemu CentOS (klikamy ikonkę katalogu obok wybieranej listy)

Po uruchomieniu maszyny z obrazu ISO wybieramy instalację.

Możemy ustawić język polski dla zgodności z polskimi stronami kodowymi.

Instalator będzie nas prosić o potwierdzenie automatycznego partycjonowania całego dysku.

Podczas instalacji systemu konieczne jest ustawienie hasła dla użytkownika root.

Gdy system skończy się instalować uruchamiamy ponownie maszynę (Virtualbox uruchomi ją już automatycznie z dysku wirtualnego a nie z wskazanego obrazu ISO)

Po uruchomieniu maszyny możemy zalogować się do niej na użytkownika root wpisując go jako login i podając wcześniej ustawione hasło.

Konfiguracja sieci

Dla wyłączonej maszyny w VirtualBox w zakładce Sieć ustawiamy Mostkowana karta sieciowa (bridge).

Następnie konfigurujemy stałe IP jedną z dwóch metod: Konfiguracja sieci w systemie CentOS 7

Dodatkowe maszyny

Jeśli chcemy mieć więcej maszyn możemy ten proces powtórzyć mogąc jednocześnie wybrać inne opcje konfiguracyjne lub po prostu gdy chcemy mieć identyczne maszyny sklonować już stworzoną maszynę. W tym celu klikamy prawym przyciskiem myszy na wybranej maszynie i wybieramy opcję klonowania (Ctrl+O)

Warto przy tym wybrać opcję stworzenia innego numeru MAC adresu karty sieciowej:

oraz wybrać pełną kopię

W przypadku dodatkowego pytania o klonowanie snapshotów, możemy je pominąć i wybrać tylko aktualny stan

W ten sposób otrzymaliśmy gotowy klaster testowy i możemy zainstalować na nim Hadoopa lub całą wybraną jego dystrybucję czemu poświęcone będą kolejne wpisy.

Legenda

Konfiguracja sieci w systemie CentOS / RedHat 8

Sun, 02 Apr 2017 21:34:44 +0200

Trzy sposoby konfiguracji sieci w systemie CentOS 7.

Dynamiczne IP za pomocą DHCP

Sprawdzamy interfejsy sieciowe i urządzenia

ip l

Łączymy się z siecią za pomocą DHCP i interfejsem enp03

dhclient -v enp0s3

Autostart DHCP wraz z systemem operacyjnym

W pliku /etc/sysconfig/network-scripts/ifcfg-enp0s3 zmieniamy ONBOOT na “yes”. W powyższym przykładzie “enp0s3” to nazwa naszego urządzenia z listy zwróconej przez “ip l”

Statyczne IP ustawiane ręcznie

Wyłączamy NetworkManager’a

systemctl disable NetworkManager.service
systemctl stop NetworkManager.service

Ręcznie dodajemy następujące wpisy do pliku /etc/sysconfig/network-scripts/ifcfg-enp0s3

BOOTPROTO="static"
ONBOOT="yes"
IPADDR=192.168.172.186
NETMASK=255.255.255.0
GATEWAY=192.168.172.1
DNS1=8.8.8.8

Ewentualnie można zamiast edytora vi użyć sed’a:

sed -i 's/ONBOOT=no/ONBOOT=yes/g'  /etc/sysconfig/network-scripts/ifcfg-enp0s3
sed -i 's/BOOTPROTO=dhcp/BOOTPROTO=static/g'  /etc/sysconfig/network-scripts/ifcfg-enp0s3

Restartujemy serwis sieciowy

systemctl restart network.service

Statyczne IP ustawiane za pomocą Network Manageraip

Zanim zaczniemy używać narzędzia nmtui, musimy ustawić “NM_CONTROLLED=yes” w pliku /etc/sysconfig/network-scripts/ifcfg-enp0s3.

vi /etc/sysconfig/network-scripts/ifcfg-enp0s3

Edytujemy ustawienia urządzeni enp0s3

nmtui edit enp0s3

Ustawiamy statyczny adres IP

192.168.172.186/24

oraz zaznaczamy opcje:

Wymagane adresowanie IPv4 dla tego połączenia
Łączenie automatyczne

Restartujemy serwis sieciowy

systemctl restart network.service