ホームページ システムチュートリアル Linux CentOSにApache Hadoopをインストール!

CentOSにApache Hadoopをインストール!

Jan 07, 2024 am 09:14 AM
linux Linuxチュートリアル レッドハット Linuxシステム Linuxコマンド Linux 認定 レッドハットリナックス Linuxビデオ

###導入### Apache Hadoop ソフトウェア ライブラリは、単純なプログラミング モデルを使用して、コンピューター クラスター上で大規模なデータ セットの分散処理を可能にするフレームワークです。 Apache™ Hadoop® は、信頼性が高く、スケーラブルな分散コンピューティングのためのオープンソース ソフトウェアです。 プロジェクトには次のモジュールが含まれています:

Hadoop Common: 他の Hadoop モジュールをサポートする共通ツール。
  • Hadoop 分散ファイル システム (HDFS™): アプリケーション データへの高スループット アクセスのサポートを提供する分散ファイル システム。
  • Hadoop YARN: ジョブ スケジューリングおよびクラスター リソース管理フレームワーク。
  • Hadoop MapReduce: 大規模なデータ セット用の YARN ベースの並列処理システム。
  • この記事は、CentOS に Hadoop をインストールし、単一ノードの Hadoop クラスターを構成する手順を段階的に説明します。

Javaのインストール

Hadoop をインストールする前に、Java がシステムにインストールされていることを確認してください。このコマンドを使用して、インストールされている Java のバージョンを確認します。 リーリー

Java をインストールまたは更新するには、以下の段階的な手順を参照してください。

最初のステップは、Oracle 公式 Web サイトから Java の最新バージョンをダウンロードすることです。

リーリー

Java の新しいバージョンを代替として使用するにはセットアップが必要です。これを行うには、次のコマンドを使用します。

リーリー

ここで、javac および jar コマンド パスを設定するために、alternatives コマンドを使用する必要がある場合もあります。

リーリー

次のステップは、環境変数を構成することです。これらの変数を正しく設定するには、次のコマンドを使用します。

JAVA_HOME変数を設定します:

リーリー

JRE_HOME 変数を設定します:

リーリー

PATH 変数を設定します:

リーリー

Apache Hadoop をインストールする

Java 環境をセットアップした後。 Apache Hadoop のインストールを開始します。

最初のステップは、Hadoop インストール用のシステム ユーザー アカウントを作成することです。

リーリー

次に、ユーザー hadoop の ssh キーを構成する必要があります。次のコマンドを使用して、パスワードなしの ssh ログインを有効にします。

リーリー

次に、Hadoop の利用可能な最新バージョンを公式 Web サイト hadoop.apache.org からダウンロードします。

リーリー

次のステップは、Hadoop で使用される環境変数を設定することです。

~/.bashrc を編集し、ファイルの末尾に次の値を追加します。

リーリー

現在の実行環境に変更を適用します。

リーリー

$HADOOP_HOME/etc/hadoop/hadoop-env.sh を編集し、JAVA_HOME 環境変数を設定します。

リーリー

次に、基本的な Hadoop シングルノード クラスターの構成から始めます。

まず、Hadoop 構成ファイルを編集し、次の変更を加えます。

リーリー

core-site.xml を編集しましょう。

リーリー

次に、hdfs-site.xml を編集します:

リーリー

そして、mapred-site.xml を編集します:

リーリー

最終編集yarn-site.xml:

リーリー

次のコマンドを使用して、namenode をフォーマットします:

リーリー

すべての Hadoop サービスを開始するには、次のコマンドを使用します:

リーリー

すべてのサービスが正常に起動するかどうかを確認するには、jps コマンドを使用します。

リーリー

次のような出力が表示されるはずです。

リーリー

これで、ブラウザで Hadoop サービスにアクセスできるようになります: http://your-ip-address:8088/。


CentOS 上安装 Apache Hadoop!ハドゥープ


以上がCentOSにApache Hadoopをインストール!の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

Deepseek Webバージョンの入り口Deepseek公式ウェブサイトの入り口 Deepseek Webバージョンの入り口Deepseek公式ウェブサイトの入り口 Feb 19, 2025 pm 04:54 PM

DeepSeekは、Webバージョンと公式Webサイトの2つのアクセス方法を提供する強力なインテリジェント検索および分析ツールです。 Webバージョンは便利で効率的であり、公式ウェブサイトは包括的な製品情報、ダウンロードリソース、サポートサービスを提供できます。個人であろうと企業ユーザーであろうと、DeepSeekを通じて大規模なデータを簡単に取得および分析して、仕事の効率を向上させ、意思決定を支援し、イノベーションを促進することができます。

DeepSeekをインストールする方法 DeepSeekをインストールする方法 Feb 19, 2025 pm 05:48 PM

DeepSeekをインストールするには、Dockerコンテナ(最も便利な場合は、互換性について心配する必要はありません)を使用して、事前コンパイルパッケージ(Windowsユーザー向け)を使用してソースからコンパイル(経験豊富な開発者向け)を含む多くの方法があります。公式文書は慎重に文書化され、不必要なトラブルを避けるために完全に準備します。

LinuxターミナルでPythonバージョンを表示するときに発生する権限の問題を解決する方法は? LinuxターミナルでPythonバージョンを表示するときに発生する権限の問題を解決する方法は? Apr 01, 2025 pm 05:09 PM

LinuxターミナルでPythonバージョンを表示する際の許可の問題の解決策PythonターミナルでPythonバージョンを表示しようとするとき、Pythonを入力してください...

Bitget公式ウェブサイトのインストール(2025初心者ガイド) Bitget公式ウェブサイトのインストール(2025初心者ガイド) Feb 21, 2025 pm 08:42 PM

Bitgetは、スポット取引、契約取引、デリバティブなど、さまざまな取引サービスを提供する暗号通貨交換です。 2018年に設立されたこのExchangeは、シンガポールに本社を置き、安全で信頼性の高い取引プラットフォームをユーザーに提供することに取り組んでいます。 Bitgetは、BTC/USDT、ETH/USDT、XRP/USDTなど、さまざまな取引ペアを提供しています。さらに、この取引所はセキュリティと流動性について評判があり、プレミアム注文タイプ、レバレッジド取引、24時間年中無休のカスタマーサポートなど、さまざまな機能を提供します。

gate.ioインストールパッケージを無料で入手してください gate.ioインストールパッケージを無料で入手してください Feb 21, 2025 pm 08:21 PM

Gate.ioは、インストールパッケージをダウンロードしてデバイスにインストールすることで使用できる人気のある暗号通貨交換です。インストールパッケージを取得する手順は次のとおりです。Gate.ioの公式Webサイトにアクセスし、「ダウンロード」をクリックし、対応するオペレーティングシステム(Windows、Mac、またはLinux)を選択し、インストールパッケージをコンピューターにダウンロードします。スムーズなインストールを確保するために、インストール中に一時的にウイルス対策ソフトウェアまたはファイアウォールを一時的に無効にすることをお勧めします。完了後、ユーザーはGATE.IOアカウントを作成して使用を開始する必要があります。

OUYI OKXインストールパッケージが直接含まれています OUYI OKXインストールパッケージが直接含まれています Feb 21, 2025 pm 08:00 PM

世界をリードするデジタル資産交換であるOuyi Okxは、安全で便利な取引体験を提供するために、公式のインストールパッケージを開始しました。 OUYIのOKXインストールパッケージは、ブラウザに直接インストールでき、ユーザー向けの安定した効率的な取引プラットフォームを作成できます。インストールプロセスは、簡単で理解しやすいです。

システムの再起動後にUnixSocketの権限を自動的に設定する方法は? システムの再起動後にUnixSocketの権限を自動的に設定する方法は? Mar 31, 2025 pm 11:54 PM

システムが再起動した後、UnixSocketの権限を自動的に設定する方法。システムが再起動するたびに、UnixSocketの許可を変更するために次のコマンドを実行する必要があります:sudo ...

OUYI Exchangeダウンロード公式ポータル OUYI Exchangeダウンロード公式ポータル Feb 21, 2025 pm 07:51 PM

OKXとしても知られるOUYIは、世界をリードする暗号通貨取引プラットフォームです。この記事では、OUYIの公式インストールパッケージのダウンロードポータルを提供します。これにより、ユーザーはさまざまなデバイスにOUYIクライアントをインストールすることが容易になります。このインストールパッケージは、Windows、Mac、Android、およびiOSシステムをサポートします。インストールが完了した後、ユーザーはOUYIアカウントに登録またはログインし、暗号通貨の取引を開始し、プラットフォームが提供するその他のサービスを楽しむことができます。

See all articles