Fail apa yang anda perlukan untuk mengubah suai dalam centos konfigurasi HDFS?

Apabila mengkonfigurasi Hadoop diedarkan Sistem Fail (HDFS) pada CentOS, fail konfigurasi utama berikut perlu diubah suai:

1. CORE-SITE.XML :

   • Fs.defaultfs: Menentukan alamat sistem fail lalai HDFS, seperti HDFS: // localhost: 9000.
   • Hadoop.tmp.dir: Menentukan direktori penyimpanan untuk fail sementara Hadoop.
   • Hadoop.proxyuser.root.hosts dan hadoop.proxyuser.root.groups: Konfigurasikan pengguna proksi pengguna root.

2. hdfs-site.xml :

   • dfs.http.address: Menentukan alamat HTTP namenode.
   • dfs.namenode.secondary.http-address: Menentukan alamat HTTP namenode sekunder.
   • mapreduce.jobhistory.address dan mapreduce.jobhistory.webapp.address: Tentukan alamat dan alamat antara muka web dari sejarah pekerjaan MapReduce.

3. Mapred-site.xml :

   • MapReduce.Framework.Name: Menentukan nama kerangka MapReduce, biasanya benang.

4. benang-tapak.xml :

   • yarn.resourcemanager.address: Tentukan alamat ResourceManager.
   • yarn.resourcemanager.scheduler.address: Menentukan alamat penjadual ResourceManager.
   • yarn.resourcemanager.resource-tracker.address: Menentukan alamat pelacak sumber sumber ResourceManager.
   • yarn.nodemanager.aux-services dan yarn.nodemanager.aux-services.mapreduce_shuffle.class: Tentukan perkhidmatan tambahan Nodemanager.
   • yarn.nodemanager.vmem-check-enabled and yarn.nodemanager.disk-thealth-checker.max-disk-utilization-per-disc-percentage: Konfigurasi memori dan pemeriksaan cakera untuk Nodemanager.

Selepas mengubah suai fail konfigurasi ini, langkah -langkah berikut biasanya diperlukan:

• Format Namenode: HDFS Namenode -Format
• Mulakan perkhidmatan HDFS: ./sbin/start-dfs.sh
• Hentikan perkhidmatan HDFS: ./sbin/stop-dfs.sh

Sila ambil perhatian bahawa langkah konfigurasi dan laluan fail tertentu mungkin berbeza -beza bergantung kepada versi Hadoop dan keperluan khusus. Adalah disyorkan untuk merujuk kepada dokumentasi rasmi atau tutorial yang berkaitan untuk memastikan ketepatan konfigurasi.

Atas ialah kandungan terperinci Fail apa yang anda perlukan untuk mengubah suai dalam centos konfigurasi HDFS?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!