Installations- und Konfigurations-Tutorial des Hadoop-Clusterservers (Bild und Text)

Der Inhalt dieses Artikels befasst sich mit dem Installations- und Konfigurations-Tutorial (Bilder und Text) des Hadoop-Clusterservers. Ich hoffe, dass er für Sie hilfreich ist.

Die Installation von virtuellen Maschinen und Linux-Systemen wurde in den beiden vorherigen Artikeln ausführlich vorgestellt und jeder Schritt mit Bildern illustriert. Wenn es Freunde gibt, die es immer noch nicht verstehen, kann ich nichts tun, um zu helfen. In diesem Artikel wird hauptsächlich die Konfiguration des Hadoop-Server-Betriebssystems ausführlich erläutert und im nächsten Artikel ausführlich vorgestellt.
Das Hadoop-Installationspaket verwendet die DKHadoop-Distribution. Ich persönlich denke, dass der Installationsprozess von DKHadoop relativ einfach ist. Ich werde die Installation von DKHadoop im nächsten Teilen ausführlich vorstellen. Fahren wir mit dem Thema dieses Artikels fort – Tutorial zur Server-Betriebssystemkonfiguration

1. Verteilte Installation der virtuellen Maschine (Drei oder mehr virtuelle Maschinen)
Wenn es sich um ein Windows- oder Linux-System eines Personalcomputers handelt und sich auf der virtuellen Maschine drei virtuelle Server befinden, kopieren Sie einfach das Installationspaket auf den Server und führen Sie den Installationsvorgang durch.
2. Physischer Cluster (drei oder mehr physische Server)
1. Externer Netzwerk-Download-Modus
Kopieren Sie die Installationspaketdatei zur Installation direkt in das Stammverzeichnis des physischen Servers . Tun Sie es einfach.
3. Upload-Modus
Dieser Modus wird angewendet, wenn sich der Server im Computerraum befindet und keine Anzeige- und Eingabegeräte vorhanden sind.
Installieren Sie nun die Datei auf dem lokalen Computer (standardmäßig ein Laptop im Computerraum), verbinden Sie den Computer mit dem Server und laden Sie die Installationspakete install und DKHInstall in das Stammverzeichnis des Servers hoch.

2. Tutorial zur Server-Betriebssystemkonfiguration

Nach Abschluss der Vorbereitung muss der Serverkonfigurationsvorgang durchgeführt werden. Zuerst müssen die drei Server einander anpingen. Der sogenannte Ping bedeutet, dass das Netzwerk zwischen den beiden Geräten verbunden ist. Wenn ein Datenpaket von einem Ende gesendet und vom anderen Ende empfangen wird, bedeutet dies, dass die beiden Geräte pingen können.

1. Berechtigungen ändern
Zweck: Die beiden Installationspakete installieren und DKHInstall über ausführbare Berechtigungen verfügen. Unzureichende Berechtigungen zum Ausführen einiger Vorgänge. Innerhalb von install befinden sich die Skripte und alle Komponenten, und innerhalb von DKHInstall befindet sich die Installationsschnittstelle.
Schritte: Nachdem Sie die Installationspakete install und DKHInstall während der Vorbereitung in das Hauptknotenverzeichnis kopiert haben, ändern Sie die Dateiberechtigungen. Geben Sie zunächst das Stammverzeichnis ein und ändern Sie die Berechtigungen der Installationsverzeichnisse install und DKHInstall wie folgt: Der Dateieigentümer kann lesen, schreiben und ausführen, andere Benutzer, die derselben Benutzergruppe wie der Dateieigentümer angehören, können lesen und ausführen und andere Benutzergruppen können lesen und ausführen.
Befehl:
cd /root/
unzip DKHPlantform.zip
chmod -R 755 DKHPlantform

2. Richten Sie den Hadoop-Cluster ein und richten Sie die passwortfreie SSH-Anmeldung ein

Zweck: Hadoop läuft Der Remote-Hadoop-Daemon-Prozess muss während des Prozesses verwaltet werden. Nachdem Hadoop gestartet wurde, startet und stoppt der NameNode verschiedene Daemon-Prozesse auf jedem DataNode über SSH (Secure Shell). Dies erfordert, dass Sie beim Ausführen von Anweisungen zwischen Knoten kein Kennwort eingeben müssen. Daher müssen wir SSH für die Verwendung einer kennwortlosen Authentifizierung mit öffentlichen Schlüsseln konfigurieren, damit sich NameNode ohne Kennwort anmelden und den DataName-Prozess starten kann gleiches Prinzip, auf dem DataNode Sie können sich auch über SSH ohne Passwort beim NameNode anmelden.

Schritte:
(1) Ändern Sie die lokale Hosts-Datei und schreiben Sie die entsprechende Beziehung.
Um jeden Host im LAN zu unterscheiden, wird dem Host ein Hostname zugewiesen und jeder Host ist über IP verbunden Kommunizieren, aber die IP-Adresse ist nicht leicht zu merken, sodass durch Konfigurieren des Hostnamens und der IP-Zuordnung ein schneller und bequemer Zugriff zwischen Hosts erreicht werden kann.
Befehl:
vi /etc/hosts
Geben Sie den Bearbeitungsmodus ein, indem Sie die Einfügetaste oder die I-Taste auf der Tastatur drücken. Drücken Sie nach der Bearbeitung die Esc-Taste und dann die Umschalttaste +:, geben Sie wq ein und dann zurück. Das Auto kann gerettet werden. Geben Sie q ein! Drücken Sie die Eingabetaste, um das Speichern abzubrechen und zu beenden.
Schreiben Sie nach dem Aufrufen des Bearbeitungsmodus die entsprechende Beziehung zwischen dem Host und der IP gemäß den Regeln (der Hostname dk41 wird von Ihnen selbst benannt, wie unten gezeigt). Beispiel:

   192.168.1.41    dk41

192.168 .1.42 dk42192.168.1.43 dk43

Nach der Bearbeitung speichern und beenden. Kopieren Sie die entsprechende Beziehung auf zwei oder mehr andere Maschinen.

Befehl:

scp -r /etc/hosts 192.168.1.42:/etc
scp -r /etc/hosts 192.168.1.43:/etc
(2) Führen Sie einen passwortfreien Vorgang zwischen Clustern aus Vorbereitungsarbeiten
Beim Ausführen des Skripts sshpass.sh liest es die beiden Dateien sshhosts und sshslaves, ersetzt
ändert die Datei sshhosts, gibt die Hostnamen aller Maschinen ein, einen Hostnamen pro Zeile (wie unten gezeigt)
Befehl:
vi /root/DKHPlantform/autossh/sshhosts
Geben Sie den Bearbeitungsmodus ein, indem Sie die Einfüge- oder I-Taste auf der Tastatur drücken. Drücken Sie nach der Bearbeitung die Esc-Taste und dann die Umschalttaste +: und Geben Sie wq ein und drücken Sie dann die Eingabetaste, um zu speichern. Geben Sie q ein! Drücken Sie die Eingabetaste, um das Speichern abzubrechen und den Vorgang zu beenden.

Ändern Sie die Datei sshslaves und schreiben Sie alle Maschinennamen außer dem Hostnamen (wie unten gezeigt)
Befehl:
vi /root/DKHPlantform / autossh/sshslaves
Rufen Sie den Bearbeitungsmodus auf, indem Sie die Einfüge- oder I-Taste auf der Tastatur drücken. Drücken Sie nach der Bearbeitung die Esc-Taste und dann die Umschalt+:-Taste, geben Sie wq ein und drücken Sie die Eingabetaste, um zu speichern. Geben Sie q ein! Drücken Sie die Eingabetaste, um das Speichern abzubrechen und zu beenden.

(3) Cluster-Passwort-freie Arbeit ausführen
Befehl:
cd /root /DKHPlantform/autossh
./autossh Master-Knoten-Hostname-Cluster-Passwort
Beispiel: ./autossh dk41 123456
(4) Schalten Sie die Firewall aus
Um zu verhindern, dass bestimmte Dienste beim Zugriff auf den Server abgefangen werden , müssen Sie die Firewall ausschalten.
Befehl:
cd /root/DKHPlantform/autossh
./offIptables.sh

3. Dual-Machine installieren hot Backup MySQL
Zweck: Hive-Metadaten speichern
Schritte:
(1) Verteilen Sie das MySQL-Installationsverzeichnis vom Primärknoten auf den zweiten Knoten
Befehl:
scp -r /root/DKHPlantform /mysqlInst/ 192.168.1.42:/root/
(2) Master-Knotenausführung:
Befehl:                                                                                                                                Ausführen:
Befehl:
cd /root/mysqlInst/
./mysql.sh. 2

(3) Führen Sie nach erfolgreicher Ausführung ein Hot-Backup durch (muss auf beiden Maschinen ausgeführt werden, beide Maschinen tauschen IP aus, schreiben Sie 42 über 41, schreiben Sie 41 über 42, das Passwort lautet MySQL: 123456. Es wurde festgelegt in der Plattform, bitte nicht ändern):
Befehl:

source /etc/profile

./sync.sh 192.168.1.xxx (eine andere MySQL-Adresse)
Datenbank erstellen
Zweck: MySQL ist ein relationales Datenbankverwaltungssystem. Die relationale Datenbank speichert Daten in verschiedenen Tabellen, erhöht die Geschwindigkeit und verbessert die Flexibilität.
Schritte:
(1) Importieren Sie die MySQL-Datentabelle und führen Sie sie nur auf dem Hauptknoten aus:
Befehl:
mysql -uroot -p123456 Zum Beispiel: mysql -uroot -p123456 /DKHPlantform/dkh.sql
(2) Überprüfen Sie nach der Ausführung, ob die Datentabellen der beiden MySQLs vorhanden sind, und Vom Masterknoten prüfen und ausführen:
Befehl:
mySQL -uroot -p123456
Datenbanken anzeigen;
dkh verwenden;
Tabellen anzeigen;

5. Starten Sie die Installation Zweck: Nachdem der Serverkonfigurationsvorgang abgeschlossen ist, starten Sie DKH. Schritt: Führen Sie den folgenden Befehl aus.

Befehl:

cd /root/DKHPlantform/dkh-tomcat*/bin/
./startup.sh
6. Schritte zur Einrichtung des lokalen Zeitservers
Es besteht keine Internetverbindung oder Uhrzeit ist bei der Installation des Systems nicht verfügbar. Für die Synchronisierung muss ein lokaler Zeitserver eingerichtet werden.
(1) Erstellen Sie einen Intranet-NTP-Server
Ändern Sie /etc/ntp.conf
Befehl:
Vim /etc/ntp.conf
Durch Drücken der Einfügetaste oder der I-Taste auf der Tastatur Enter Drücken Sie nach der Bearbeitung die Esc-Taste und dann die Umschalttaste +: Geben Sie wq ein und drücken Sie die Eingabetaste, um zu speichern. Geben Sie q ein! Drücken Sie die Eingabetaste, um das Speichern abzubrechen und zu beenden.
Ändern Sie die folgenden drei Zeilen:

server 0.centos.pool.ntp.org

server 1.centos.pool.ntp.org

server 2.centos.pool.ntp.org

Fügen Sie die folgenden zwei Zeilen am Ende der Datei hinzu:

server 127.127.1.0

fudge 127.127.1.0 stratum 10

( 2) Starten Sie den NTP-Dienst

service ntpd start
(3) Automatisch beim Booten starten
chkconfig ntpd on
(4) Client-Synchronisierungszeit
Befehl:
Vim /etc/ntp. conf
Rufen Sie den Bearbeitungsmodus auf, indem Sie die Einfügetaste oder die I-Taste auf der Tastatur drücken. Drücken Sie nach der Bearbeitung die Esc-Taste und dann die Umschalttaste +:, geben Sie wq ein und drücken Sie die Eingabetaste, um zu speichern. Geben Sie q ein! Drücken Sie die Eingabetaste, um das Speichern abzubrechen und zu beenden.
Fügen Sie am Ende der Datei eine Zeile hinzu:

/15


* root ntpdate 192.168.27.35;hwclock -w

Das obige ist der detaillierte Inhalt vonInstallations- und Konfigurations-Tutorial des Hadoop-Clusterservers (Bild und Text). Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!