Cara Melihat Log Debian Hadoop

Artikel ini memperkenalkan bagaimana untuk melihat log Hadoop dengan cekap dalam sistem Debian. Fungsi agregasi log Hadoop di tengah -tengah menyimpan log setiap nod untuk pengurusan yang mudah. Langkah -langkah berikut akan membimbing anda tentang cara melihat log ini:

Langkah 1: Pastikan pengagregatan log diaktifkan

Pertama, sahkan bahawa agregasi log diaktifkan untuk semua nod dalam kluster Hadoop. Ini biasanya dikonfigurasi dalam fail konfigurasi yarn-site.xml :

<property>
  <name>YARN.LOG-AGGRINGE-enable</name>
  <value>Benar</value>
</property>
<property>
  <name>yarn.log-aggregasi.retain-seconds</name>
  <value>172800</value>
</property>
<property>
  <name>yarn.nodemanager.remote-app-log-dir</name>
  <value>/tmp/log</value>
</property>
<property>
  <name>yarn.nodemanager.remote-app-log-dir-suffix</name>
  <value>log</value>
</property>
<property>
  <name>yarn.log.server.url</name>
  <value>http: // hadoop-node0: 19888/jobhistory/logs</value>
</property>

Langkah 2: Log akses melalui UI web

Selepas pengagregatan log, anda boleh melihat log melalui UI Web ResourceManager Hadoop atau UI Server Sejarah Kerja:

• ResourceManager Web UI: Alamat lalai adalah http://<resourcemanager-hostname> :8088/cluster/apps/FINISHED</resourcemanager-hostname> .
• UI Web Server Sejarah Pekerjaan: Alamat lalai adalah http://<jobhistory-server-hostname> :19888/jobhistory</jobhistory-server-hostname> .

Langkah 3: Gunakan alat baris arahan untuk melihat log

Jika anda perlu membaca log secara langsung dari HDFS, anda boleh menggunakan arahan hdfs dfs :

 HDFS DFS -CAT/PATH/TO/LOGS/*

Langkah 4: Gunakan editor teks untuk melihat log

Anda boleh membuka dan melihat fail log menggunakan mana -mana editor teks (seperti nano , vim ):

 sudo nano/path/to/log/aplikasi-<application-id> -container-<container-id> .log</container-id></application-id>

Perhatikan bahawa laluan fail log dan URL mungkin berbeza -beza bergantung kepada konfigurasi kluster Hadoop. Sila rujuk fail konfigurasi kluster Hadoop anda untuk laluan yang tepat.

Atas ialah kandungan terperinci Cara Melihat Log Debian Hadoop. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!