Testowy klaster obliczeniowy - VirtualBox 5 i CentOS 7
Stworzenie klastra 3 maszyn w oparciu o Virtualbox'a 5 i system CentOS 7
VirtualBox jest darmowym narzędziem firmy Oracle (poprzednio Sun Microsystems) pozwaląjącym na łatwą i wygodną wirtualizację na własnym komputerze. W bardzo szybki sposób jesteśmy w stanie stworzyć z jego pomocą klaster kilku maszyn i z powodzeniem używać go do testów.
Instalacja VirtualBox’a
VirtualBox’a można zainstalować na systemie Windows, Linux, MacOS i Solaris ściągając instalator ze strony projektu https://www.virtualbox.org/. Użytkownicy systemów Linux mogą go też łatwo i szybko zainstalować za pomocą repozytoriów (zalecane dla początkujących użytkowników).
Po zainstalowaniu możemy uruchomić narzędzie w trybie graficznym lub korzystać z linii komend. Ta druga opcja udostępnia większe możliwości, jednak jest adresowana do bardziej doświadczonych użytkowników, dlatego skorzystamy z wersji okienkowej.
Po uruchomieniu wersji graficznej powinniśmy zobaczyć coś takiego:
Stworzenie maszyny w VirtualBox
Teraz tworzymy nową czystą maszynę klikając New.
W nowo otwartym oknie wpisujemy nazwę, np. hadoop1, wybieramy Typ Linux i wersję Red Hat (64-bit) (CentOS jest oparty o dystrubucję Red Hat Enterprise Linux).
W kolejnym ekranie przydzielamy pamięć RAM do maszyny, np. 16 GB.
Tworzymy nowy wirtualny dysk dla naszej maszyny wirtualnej.
Wybieramy domyślny typ dysku VDI.
Ustawiamy dynamiczne alokowanie powierzchni dysku (nasz wirtualny dysk będzie miał od razu widoczną całkowitą powierzchnię, ale fizycznie plik na dysku komputera hosta na którym zainstalowany jest VirtualBox będzie miał wielkość proporcjonalną do wielkości zajmowanego miejsca na wirtualnym dysku).
Ustawiamy docelową wielkość dysku (z racji dynamicznej alokacji możemy ustawić więcej niż potrzebujemy, np. 100 GB) i klimay Create.
Nasza maszyna jest już utworzona i widzimy ją na liście.
Pobranie CentOS’a
Najnowszą siądmą wersję systemu CentOS (Community ENTerprise Operating System) można pobrać z https://www.centos.org/download/. Wybieramy wersję minimal ISO, resztę pobierzemy przez sieć http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-Minimal-1611.iso. Najszybciej będzie ściągnąć iso z serwerów ICM’u lub AGH.
Instalacja CentOS’a
Uruchamiamy utworzoną maszynę wirtualną przyciskiem Run. Następnie wybieramy wcześniej ściągnięty obraz ISO systemu CentOS (klikamy ikonkę katalogu obok wybieranej listy)
Po uruchomieniu maszyny z obrazu ISO wybieramy instalację.
Możemy ustawić język polski dla zgodności z polskimi stronami kodowymi.
Instalator będzie nas prosić o potwierdzenie automatycznego partycjonowania całego dysku.
Podczas instalacji systemu konieczne jest ustawienie hasła dla użytkownika root.
Gdy system skończy się instalować uruchamiamy ponownie maszynę (Virtualbox uruchomi ją już automatycznie z dysku wirtualnego a nie z wskazanego obrazu ISO)
Po uruchomieniu maszyny możemy zalogować się do niej na użytkownika root wpisując go jako login i podając wcześniej ustawione hasło.
Konfiguracja sieci
Dla wyłączonej maszyny w VirtualBox w zakładce Sieć ustawiamy Mostkowana karta sieciowa (bridge).
Następnie konfigurujemy stałe IP jedną z dwóch metod: Konfiguracja sieci w systemie CentOS 7
Dodatkowe maszyny
Jeśli chcemy mieć więcej maszyn możemy ten proces powtórzyć mogąc jednocześnie wybrać inne opcje konfiguracyjne lub po prostu gdy chcemy mieć identyczne maszyny sklonować już stworzoną maszynę. W tym celu klikamy prawym przyciskiem myszy na wybranej maszynie i wybieramy opcję klonowania (Ctrl+O)
Warto przy tym wybrać opcję stworzenia innego numeru MAC adresu karty sieciowej:
oraz wybrać pełną kopię
W przypadku dodatkowego pytania o klonowanie snapshotów, możemy je pominąć i wybrać tylko aktualny stan
W ten sposób otrzymaliśmy gotowy klaster testowy i możemy zainstalować na nim Hadoopa lub całą wybraną jego dystrybucję czemu poświęcone będą kolejne wpisy.
