Rumah pangkalan data tutorial mysql 在Eclipse中运行Nutch2.3

在Eclipse中运行Nutch2.3

Jun 07, 2016 pm 03:07 PM
eclipse lari

参考http://wiki.apache.org/nutch/RunNutchInEclipse 一、环境准备 1、下载nutch2.3源代码 wget http://mirror.bit.edu.cn/apache/nutch/2.3/apache-nutch-2.3-src.tar.gz 或者下载正在开发中的最新版本 svn co https://svn.apache.org/repos/asf/nutch/bra


参考http://wiki.apache.org/nutch/RunNutchInEclipse


一、环境准备

1、下载nutch2.3源代码

wget http://mirror.bit.edu.cn/apache/nutch/2.3/apache-nutch-2.3-src.tar.gz
Salin selepas log masuk
或者下载正在开发中的最新版本
 svn co https://svn.apache.org/repos/asf/nutch/branches/2.x
Salin selepas log masuk


2、选择使用的数据库类型,以hbase为例
在conf/nutch-site.xml中增加以下属性:

<property>
  <name>storage.data.store.class</name>
  <value>org.apache.gora.hbase.store.HBaseStore</value>
  <description>Default class for storing data</description>
 </property>
Salin selepas log masuk


3、在ivy/ivy.xml中增加与hbase相关的依赖项,此项本已存在,但被注释掉,将注释去掉即可

<dependency org="org.apache.gora" name="gora-hbase" rev="0.5" conf="*->default” />
注意,rev=0.5对应hbase0.94,rev=0.3对应hbase0.90.4


4、在nutch.xml中增加以下3个属性

<property>
   <name>http.agent.name</name>
   <value>My Nutch Spider</value>
 </property>
<property>
   <name>http.robots.agents</name>
   <value>none</value>
 </property>
<property>
   <name>plugin.folders</name>
   <value>/Users/liaoliuqing/0_Search/1_Nutch/1_Official/apache-nutch-2.3/build/plugins</value>
 </property>
其中plugin.folders的值为$NUTCH_HOME/build/plugins


5、执行ant eclipse


二、导入project

1、导入project


2、在build path中,将apche-nutch-2.3/conf放到最上面,即点击top按键

在Eclipse中运行Nutch2.3


三、运行程序

1、Run as ----> Run configuration,选择project与主类

在Eclipse中运行Nutch2.3

2、填写参数

/Users/liaoliuqing/Downloads/seed.txt

-Dhadoop.log.dir=logs -Dhadoop.log.file=hadoop.log

在Eclipse中运行Nutch2.3

3、点击run,输出结果如下:

InjectorJob: starting at 2015-01-28 16:27:43
InjectorJob: Injecting urlDir: /Users/liaoliuqing/Downloads/seed.txt
InjectorJob: Using class org.apache.gora.hbase.store.HBaseStore as the Gora storage class.
InjectorJob: total number of urls rejected by filters: 0
InjectorJob: total number of urls injected after normalization and filtering: 1
Injector: finished at 2015-01-28 16:27:47, elapsed: 00:00:04


注意,在运行程序前,本机需要先启动hbase。


4、查看hbase中的数据

hbase(main):003:0> scan 'webpage'
ROW                                         COLUMN+CELL                                                                                                                 
 com.163.www:http/                          column=f:fi, timestamp=1422433667377, value=\x00'\x8D\x00                                                                   
 com.163.www:http/                          column=f:ts, timestamp=1422433667377, value=\x00\x00\x01K/\xA7:\x14                                                         
 com.163.www:http/                          column=mk:_injmrk_, timestamp=1422433667377, value=y                                                                        
 com.163.www:http/                          column=mk:dist, timestamp=1422433667377, value=0                                                                            
 com.163.www:http/                          column=mtdt:_csh_, timestamp=1422433667377, value=?\x80\x00\x00                                                             
 com.163.www:http/                          column=s:s, timestamp=1422433667377, value=?\x80\x00\x00                                                                    
1 row(s) in 0.2970 seconds
Salin selepas log masuk






Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

AI Hentai Generator

AI Hentai Generator

Menjana ai hentai secara percuma.

Artikel Panas

R.E.P.O. Kristal tenaga dijelaskan dan apa yang mereka lakukan (kristal kuning)
4 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Tetapan grafik terbaik
4 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Cara Memperbaiki Audio Jika anda tidak dapat mendengar sesiapa
4 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Arahan sembang dan cara menggunakannya
4 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Bagaimana untuk melaraskan tetapan warna latar belakang dalam Eclipse Bagaimana untuk melaraskan tetapan warna latar belakang dalam Eclipse Jan 28, 2024 am 09:08 AM

Bagaimana untuk menetapkan warna latar belakang dalam Eclipse? Eclipse ialah persekitaran pembangunan bersepadu (IDE) yang popular di kalangan pembangun dan boleh digunakan untuk pembangunan dalam pelbagai bahasa pengaturcaraan. Ia sangat berkuasa dan fleksibel, dan anda boleh menyesuaikan penampilan antara muka dan editor melalui tetapan. Artikel ini akan memperkenalkan cara untuk menetapkan warna latar belakang dalam Eclipse dan memberikan contoh kod khusus. 1. Tukar warna latar belakang editor Open Eclipse dan masukkan menu "Windows". Pilih "Keutamaan". Navigasi di sebelah kiri

Bagaimana untuk melaksanakan fail .sh dalam sistem Linux? Bagaimana untuk melaksanakan fail .sh dalam sistem Linux? Mar 14, 2024 pm 06:42 PM

Bagaimana untuk melaksanakan fail .sh dalam sistem Linux? Dalam sistem Linux, fail .sh ialah fail yang dipanggil skrip Shell, yang digunakan untuk melaksanakan satu siri arahan. Melaksanakan fail .sh ialah operasi yang sangat biasa Artikel ini akan memperkenalkan cara melaksanakan fail .sh dalam sistem Linux dan memberikan contoh kod khusus. Kaedah 1: Gunakan laluan mutlak untuk melaksanakan fail .sh Untuk melaksanakan fail .sh dalam sistem Linux, anda boleh menggunakan laluan mutlak untuk menentukan lokasi fail. Berikut ialah langkah khusus: Buka terminal

Tutorial penggunaan PyCharm: membimbing anda secara terperinci untuk menjalankan operasi Tutorial penggunaan PyCharm: membimbing anda secara terperinci untuk menjalankan operasi Feb 26, 2024 pm 05:51 PM

PyCharm ialah persekitaran pembangunan bersepadu (IDE) Python yang sangat popular. Ia menyediakan pelbagai fungsi dan alatan untuk menjadikan pembangunan Python lebih cekap dan mudah. Artikel ini akan memperkenalkan anda kepada kaedah operasi asas PyCharm dan menyediakan contoh kod khusus untuk membantu pembaca memulakan dengan cepat dan menjadi mahir dalam mengendalikan alat tersebut. 1. Muat turun dan pasang PyCharm Pertama, kita perlu pergi ke laman web rasmi PyCharm (https://www.jetbrains.com/pyc

Bimbingan Pro: Nasihat pakar dan langkah tentang cara berjaya memasang pemalam Eclipse Lombok Bimbingan Pro: Nasihat pakar dan langkah tentang cara berjaya memasang pemalam Eclipse Lombok Jan 28, 2024 am 09:15 AM

Panduan profesional: Nasihat pakar dan langkah-langkah untuk memasang pemalam Lombok dalam Eclipse, contoh kod khusus diperlukan Ringkasan: Lombok ialah perpustakaan Java yang memudahkan penulisan kod Java melalui anotasi dan menyediakan beberapa alatan berkuasa. Artikel ini akan memperkenalkan pembaca kepada langkah-langkah cara memasang dan mengkonfigurasi pemalam Lombok dalam Eclipse, dan menyediakan beberapa contoh kod khusus supaya pembaca boleh memahami dan menggunakan pemalam Lombok dengan lebih baik. Muat turun pemalam Lombok dahulu, kami perlukan

Sebab mengapa fail exe tidak boleh dijalankan pada Windows 7 Sebab mengapa fail exe tidak boleh dijalankan pada Windows 7 Feb 18, 2024 pm 08:32 PM

Mengapa win7 tidak boleh menjalankan fail exe Apabila menggunakan sistem pengendalian Windows7, ramai pengguna mungkin menghadapi masalah biasa, iaitu, mereka tidak boleh menjalankan fail exe. fail exe ialah fail boleh laku biasa dalam sistem pengendalian Windows Ia biasanya digunakan untuk memasang dan menjalankan pelbagai aplikasi. Walau bagaimanapun, sesetengah pengguna mungkin mendapati bahawa apabila mereka cuba menjalankan fail exe, sistem tidak bertindak balas atau memberikan mesej ralat. Terdapat banyak sebab untuk masalah ini. Berikut adalah beberapa punca biasa dan penyelesaian yang sepadan:

Mendedahkan penyelesaian kepada masalah menjalankan kod Eclipse: membantu anda menyelesaikan pelbagai ralat berjalan Mendedahkan penyelesaian kepada masalah menjalankan kod Eclipse: membantu anda menyelesaikan pelbagai ralat berjalan Jan 28, 2024 am 09:22 AM

Penyelesaian kepada masalah menjalankan kod Eclipse didedahkan: ia membantu anda menghapuskan pelbagai ralat menjalankan kod dan memerlukan contoh kod khusus Pengenalan: Eclipse ialah persekitaran pembangunan bersepadu (IDE) yang biasa digunakan dan digunakan secara meluas dalam pembangunan Java. Walaupun Eclipse mempunyai fungsi yang berkuasa dan antara muka pengguna yang mesra, ia tidak dapat dielakkan untuk menghadapi pelbagai masalah berjalan semasa menulis dan menyahpepijat kod. Artikel ini akan mendedahkan beberapa masalah lazim kod Eclipse yang dijalankan dan menyediakan penyelesaian. Sila ambil perhatian bahawa untuk membantu pembaca memahami dengan lebih baik, ini

Panduan langkah demi langkah untuk menukar warna latar belakang dengan Eclipse Panduan langkah demi langkah untuk menukar warna latar belakang dengan Eclipse Jan 28, 2024 am 08:28 AM

Ajar anda langkah demi langkah cara menukar warna latar belakang dalam Eclipse, contoh kod khusus diperlukan Eclipse ialah persekitaran pembangunan bersepadu (IDE) yang sangat popular yang sering digunakan untuk menulis dan menyahpepijat projek Java. Secara lalai, warna latar belakang Eclipse adalah putih, tetapi sesetengah pengguna mungkin ingin menukar warna latar belakang mengikut keutamaan mereka atau mengurangkan ketegangan mata. Artikel ini akan mengajar anda langkah demi langkah cara menukar warna latar belakang dalam Eclipse dan memberikan contoh kod khusus. Langkah 1: Buka Eclipse Pertama

Bagaimana untuk menyesuaikan tetapan kekunci pintasan dalam Eclipse Bagaimana untuk menyesuaikan tetapan kekunci pintasan dalam Eclipse Jan 28, 2024 am 10:01 AM

Bagaimana untuk menyesuaikan tetapan kekunci pintasan dalam Eclipse? Sebagai pembangun, menguasai kekunci pintasan ialah salah satu kunci untuk meningkatkan kecekapan semasa pengekodan dalam Eclipse. Sebagai persekitaran pembangunan bersepadu yang berkuasa, Eclipse bukan sahaja menyediakan banyak kekunci pintasan lalai, tetapi juga membenarkan pengguna untuk menyesuaikannya mengikut keutamaan mereka sendiri. Artikel ini akan memperkenalkan cara untuk menyesuaikan tetapan kekunci pintasan dalam Eclipse dan memberikan contoh kod khusus. Buka Eclipse First, buka Eclipse dan masukkan

See all articles