Administracja Big Data

Instalacja HDP 2.6 na pojedynczej maszynie

Instalacja HDP 2.6.4.0 na pojedynczej maszynie z wykorzystaniem CentoOS 6 i Virtualbox

Radosław Szmit

3 minute read

W tym poście pokażę jak przygotować sobie jedną wirtualną maszynę z zainstalowaną dystrybucją Hortonworks. Taką maszynę, zwaną sandbox’em możemy wykorzystywać do celów testowych i developerskich. Stworzenie maszyny wirtualbox i instalacja systemu operacyjnego CentOS 6 Zaczniemy od stworzenia maszyny wirtualnej i instalacji na niej systemu CentOS 6. Opis jak to zrobić można znaleźć tutaj Przygotowanie systemu operacyjnego CentOS 6 Aktualizacja systemu Żeby pracować na najnowszej wersji systemu należy go zaktualizować

Instalacja dystrybucji Hortonworks Data Platform za pomocą Apache Ambari

Instalacja HDP 2.6 za pomocą Ambari 2.5 na systemie Red Hat 7.5 lub CentOS 7.5

Radosław Szmit

6 minute read

Instrukcja instalacji dystrybucji Hortonworks Data Platform HDP-2.6 na maszynach z systemem Red Hat 7 lub CentOS 7. Do instalacji zostanie użyte: * HDP-2.6.3.0 * Apache Ambari w wersji 2.5.1.0. * CentOS 7.5.1804 (Minimal ISO) Instalacja może być przeprowadzona tylko na jednej maszynie oraz w klastrze. W przypadku jednej maszyny należy w każdym miejscu konfiguracji wskazać jeden i ten sam host. Wszystko usługi, zarówno typu master jak i slave, będą zainstalowane na tym jednym komputerze.

CentOS 7 - Instalacja środowiska developerskiego

Instalacja HDP 2.6.4.0 na pojedynczej maszynie z wykorzystaniem CentoOS 7 i Virtualbox

Radosław Szmit

2 minute read

Jeśli ktoś chciałby pracować na co dzień z systemem CentOS 7 w trybie graficznym, poniżej krótka instrukcja jak to zrobić. Dodatkowo opis konfiguracji dla VirtualBox’a dla chcącym korzystać tylko na maszynie wirtualnej. Instalacja systemu Proces instalacji systemu jest bardzo prosty, wystarczy postępować zgodnie z poleceniami na ekranie, dlatego zostanie pominięty. Aktualizacja systemu Żeby pracować na najnowszej wersji systemu należy go zaktualizować yum -y update yum -y upgrade Instalacja środowiska graficznego Instalacja pakietów i narzędzi yum -y groups install "GNOME Desktop" Jeśli chcemy przejrzeć inne grupy możemy wpisać:

Testowy klaster obliczeniowy - Amazon Web Services i CentOS 7

Stworzenie klastra kilku maszyn w oparciu o Amazon Web Services i system CentOS 7

Radosław Szmit

3 minute read

Publiczne chmury obliczeniowe cieszą się coraz większym zainteresowaniem. Jedną z najbardziej popularnych rozwiązań tego typu jest zdecydowanie Amazon Web Services. W poniższym krótkim tutorialu pokażę jak szybko zbudować mini klaster testowy do zastosowań Big Data, na którym będziemy mogli wdrożyć na przykład platformę HDP (instalacji poświęcony został inny tutorial). Założenie konta Nasz proces musimy zacząć od założenia konta w serwisie (https://aws.amazon.com/console/) wybierając opcję “Sign in to the Console” a następnie wybranie opcji “I am a new user” i wypełnienie formularza.

Instalacja dystrybucji Hortonworks Data Platform za pomocą Apache Ambari

Instalacja HDP 2.6 za pomocą Ambari 2.5 na systemie Red Hat 6.9 lub CentOS 6.9

Radosław Szmit

5 minute read

Instrukcja instalacji dystrybucji Hortonworks Data Platform HDP-2.6.3.0 na maszynach z systemem Red Hat 6.9 lub CentOS 6.9. Do instalacji zostanie użyte Apache Ambari w wersji 2.5.1.0. Klaster ssh Jeśli chcemy wykonywać wybrane polecenia jednocześnie na wszystkich maszynach możemy użyć polecenia cssh. cssh root@hdp1 root@hdp2 root@hdp3 Jeśli wolimy klasyczne ssh, logujemy się na każdą maszynę oddzielnie: ssh root@hdp1 UWAGA: Wszystkie dalesze polecenia wykonujemy zalogowani jako użytkownik root Aktualizacja systemu yum update -y Instalacja przydatnych narzędzi yum install -y wget Instalacja epel release CentOS: