Heim Datenbank MySQL-Tutorial 在Eclipse中运行Nutch2.3

在Eclipse中运行Nutch2.3

Jun 07, 2016 pm 03:07 PM
eclipse 运行

参考http://wiki.apache.org/nutch/RunNutchInEclipse 一、环境准备 1、下载nutch2.3源代码 wget http://mirror.bit.edu.cn/apache/nutch/2.3/apache-nutch-2.3-src.tar.gz 或者下载正在开发中的最新版本 svn co https://svn.apache.org/repos/asf/nutch/bra


参考http://wiki.apache.org/nutch/RunNutchInEclipse


一、环境准备

1、下载nutch2.3源代码

wget http://mirror.bit.edu.cn/apache/nutch/2.3/apache-nutch-2.3-src.tar.gz
Nach dem Login kopieren
或者下载正在开发中的最新版本
 svn co https://svn.apache.org/repos/asf/nutch/branches/2.x
Nach dem Login kopieren


2、选择使用的数据库类型,以hbase为例
在conf/nutch-site.xml中增加以下属性:

<property>
  <name>storage.data.store.class</name>
  <value>org.apache.gora.hbase.store.HBaseStore</value>
  <description>Default class for storing data</description>
 </property>
Nach dem Login kopieren


3、在ivy/ivy.xml中增加与hbase相关的依赖项,此项本已存在,但被注释掉,将注释去掉即可

<dependency org="org.apache.gora" name="gora-hbase" rev="0.5" conf="*->default” />
注意,rev=0.5对应hbase0.94,rev=0.3对应hbase0.90.4


4、在nutch.xml中增加以下3个属性

<property>
   <name>http.agent.name</name>
   <value>My Nutch Spider</value>
 </property>
<property>
   <name>http.robots.agents</name>
   <value>none</value>
 </property>
<property>
   <name>plugin.folders</name>
   <value>/Users/liaoliuqing/0_Search/1_Nutch/1_Official/apache-nutch-2.3/build/plugins</value>
 </property>
其中plugin.folders的值为$NUTCH_HOME/build/plugins


5、执行ant eclipse


二、导入project

1、导入project


2、在build path中,将apche-nutch-2.3/conf放到最上面,即点击top按键

在Eclipse中运行Nutch2.3


三、运行程序

1、Run as ----> Run configuration,选择project与主类

在Eclipse中运行Nutch2.3

2、填写参数

/Users/liaoliuqing/Downloads/seed.txt

-Dhadoop.log.dir=logs -Dhadoop.log.file=hadoop.log

在Eclipse中运行Nutch2.3

3、点击run,输出结果如下:

InjectorJob: starting at 2015-01-28 16:27:43
InjectorJob: Injecting urlDir: /Users/liaoliuqing/Downloads/seed.txt
InjectorJob: Using class org.apache.gora.hbase.store.HBaseStore as the Gora storage class.
InjectorJob: total number of urls rejected by filters: 0
InjectorJob: total number of urls injected after normalization and filtering: 1
Injector: finished at 2015-01-28 16:27:47, elapsed: 00:00:04


注意,在运行程序前,本机需要先启动hbase。


4、查看hbase中的数据

hbase(main):003:0> scan 'webpage'
ROW                                         COLUMN+CELL                                                                                                                 
 com.163.www:http/                          column=f:fi, timestamp=1422433667377, value=\x00'\x8D\x00                                                                   
 com.163.www:http/                          column=f:ts, timestamp=1422433667377, value=\x00\x00\x01K/\xA7:\x14                                                         
 com.163.www:http/                          column=mk:_injmrk_, timestamp=1422433667377, value=y                                                                        
 com.163.www:http/                          column=mk:dist, timestamp=1422433667377, value=0                                                                            
 com.163.www:http/                          column=mtdt:_csh_, timestamp=1422433667377, value=?\x80\x00\x00                                                             
 com.163.www:http/                          column=s:s, timestamp=1422433667377, value=?\x80\x00\x00                                                                    
1 row(s) in 0.2970 seconds
Nach dem Login kopieren






Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
1 Monate vor By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Beste grafische Einstellungen
1 Monate vor By 尊渡假赌尊渡假赌尊渡假赌
Will R.E.P.O. Crossplay haben?
1 Monate vor By 尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6

Dreamweaver CS6

Visuelle Webentwicklungstools

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

So passen Sie die Hintergrundfarbeinstellungen in Eclipse an So passen Sie die Hintergrundfarbeinstellungen in Eclipse an Jan 28, 2024 am 09:08 AM

Wie stelle ich die Hintergrundfarbe in Eclipse ein? Eclipse ist eine bei Entwicklern beliebte integrierte Entwicklungsumgebung (IDE) und kann für die Entwicklung in einer Vielzahl von Programmiersprachen verwendet werden. Es ist sehr leistungsstark und flexibel und Sie können das Erscheinungsbild der Benutzeroberfläche und des Editors über Einstellungen anpassen. In diesem Artikel wird erläutert, wie Sie die Hintergrundfarbe in Eclipse festlegen, und es werden spezifische Codebeispiele bereitgestellt. 1. Ändern Sie die Hintergrundfarbe des Editors. Öffnen Sie Eclipse und rufen Sie das Menü „Windows“ auf. Wählen Sie „Einstellungen“. Navigieren Sie nach links

Wie führe ich eine .sh-Datei im Linux-System aus? Wie führe ich eine .sh-Datei im Linux-System aus? Mar 14, 2024 pm 06:42 PM

Wie führe ich eine .sh-Datei im Linux-System aus? In Linux-Systemen ist eine .sh-Datei eine Datei, die als Shell-Skript bezeichnet wird und zum Ausführen einer Reihe von Befehlen verwendet wird. Das Ausführen von .sh-Dateien ist ein sehr häufiger Vorgang. In diesem Artikel wird erläutert, wie .sh-Dateien in Linux-Systemen ausgeführt werden, und es werden spezifische Codebeispiele bereitgestellt. Methode 1: Verwenden Sie einen absoluten Pfad, um eine .sh-Datei auszuführen. Um eine .sh-Datei in einem Linux-System auszuführen, können Sie einen absoluten Pfad verwenden, um den Speicherort der Datei anzugeben. Im Folgenden sind die spezifischen Schritte aufgeführt: Öffnen Sie das Terminal

Tutorial zur PyCharm-Nutzung: Führt Sie ausführlich durch die Ausführung des Vorgangs Tutorial zur PyCharm-Nutzung: Führt Sie ausführlich durch die Ausführung des Vorgangs Feb 26, 2024 pm 05:51 PM

PyCharm ist eine sehr beliebte integrierte Entwicklungsumgebung (IDE) für Python. Sie bietet eine Fülle von Funktionen und Tools, um die Python-Entwicklung effizienter und komfortabler zu gestalten. Dieser Artikel führt Sie in die grundlegenden Betriebsmethoden von PyCharm ein und stellt spezifische Codebeispiele bereit, um den Lesern einen schnellen Einstieg zu erleichtern und sich mit der Bedienung des Tools vertraut zu machen. 1. Laden Sie PyCharm herunter und installieren Sie es. Zuerst müssen wir zur offiziellen Website von PyCharm gehen (https://www.jetbrains.com/pyc).

Profi-Anleitung: Expertenrat und Schritte zur erfolgreichen Installation des Eclipse Lombok-Plug-Ins Profi-Anleitung: Expertenrat und Schritte zur erfolgreichen Installation des Eclipse Lombok-Plug-Ins Jan 28, 2024 am 09:15 AM

Professionelle Anleitung: Expertenrat und Schritte zur Installation des Lombok-Plug-Ins in Eclipse. Es sind spezifische Codebeispiele erforderlich. Zusammenfassung: Lombok ist eine Java-Bibliothek, die das Schreiben von Java-Code durch Annotationen vereinfacht und einige leistungsstarke Tools bereitstellt. In diesem Artikel werden die Leser in die Schritte zur Installation und Konfiguration des Lombok-Plug-Ins in Eclipse eingeführt und einige spezifische Codebeispiele bereitgestellt, damit die Leser das Lombok-Plug-In besser verstehen und verwenden können. Laden Sie zuerst das Lombok-Plug-in herunter, das wir benötigen

Aufzeigen von Lösungen für Probleme bei der Ausführung von Eclipse-Code: Unterstützung bei der Behebung verschiedener Ausführungsfehler Aufzeigen von Lösungen für Probleme bei der Ausführung von Eclipse-Code: Unterstützung bei der Behebung verschiedener Ausführungsfehler Jan 28, 2024 am 09:22 AM

Die Lösung für Probleme bei der Ausführung von Eclipse-Code wird aufgezeigt: Sie hilft Ihnen, verschiedene Fehler bei der Ausführung von Code zu beseitigen und erfordert spezifische Codebeispiele. Einführung: Eclipse ist eine häufig verwendete integrierte Entwicklungsumgebung (IDE), die in der Java-Entwicklung weit verbreitet ist. Obwohl Eclipse über leistungsstarke Funktionen und eine benutzerfreundliche Benutzeroberfläche verfügt, ist es unvermeidlich, dass beim Schreiben und Debuggen von Code verschiedene Ausführungsprobleme auftreten. In diesem Artikel werden einige häufig auftretende Probleme bei der Ausführung von Eclipse-Code aufgezeigt und Lösungen bereitgestellt. Bitte beachten Sie, dass dies zum besseren Verständnis der Leser erforderlich ist

Gründe, warum Exe-Dateien unter Windows 7 nicht ausgeführt werden können Gründe, warum Exe-Dateien unter Windows 7 nicht ausgeführt werden können Feb 18, 2024 pm 08:32 PM

Warum kann Win7 keine Exe-Dateien ausführen? Bei der Verwendung des Windows7-Betriebssystems kann es bei vielen Benutzern zu einem häufigen Problem kommen, nämlich dass sie keine Exe-Dateien ausführen können. exe-Dateien sind gängige ausführbare Dateien in Windows-Betriebssystemen. Sie werden normalerweise zum Installieren und Ausführen verschiedener Anwendungen verwendet. Einige Benutzer stellen jedoch möglicherweise fest, dass das System beim Versuch, die Exe-Datei auszuführen, nicht reagiert oder eine Fehlermeldung ausgibt. Es gibt viele Gründe für dieses Problem. Nachfolgend finden Sie einige häufige Ursachen und entsprechende Lösungen:

Schritt-für-Schritt-Anleitung zum Ändern der Hintergrundfarbe mit Eclipse Schritt-für-Schritt-Anleitung zum Ändern der Hintergrundfarbe mit Eclipse Jan 28, 2024 am 08:28 AM

Bringen Sie Ihnen Schritt für Schritt bei, wie Sie die Hintergrundfarbe in Eclipse ändern. Dazu sind spezifische Codebeispiele erforderlich. Eclipse ist eine sehr beliebte integrierte Entwicklungsumgebung (IDE), die häufig zum Schreiben und Debuggen von Java-Projekten verwendet wird. Standardmäßig ist die Hintergrundfarbe von Eclipse weiß, einige Benutzer möchten jedoch möglicherweise die Hintergrundfarbe nach ihren Wünschen ändern oder die Belastung der Augen verringern. In diesem Artikel erfahren Sie Schritt für Schritt, wie Sie die Hintergrundfarbe in Eclipse ändern, und stellen spezifische Codebeispiele bereit. Schritt 1: Öffnen Sie zuerst Eclipse

So passen Sie die Tastenkombinationseinstellungen in Eclipse an So passen Sie die Tastenkombinationseinstellungen in Eclipse an Jan 28, 2024 am 10:01 AM

Wie kann ich die Tastenkombinationseinstellungen in Eclipse anpassen? Als Entwickler ist die Beherrschung von Tastenkombinationen einer der Schlüssel zur Effizienzsteigerung beim Codieren in Eclipse. Als leistungsstarke integrierte Entwicklungsumgebung bietet Eclipse nicht nur viele Standard-Tastenkombinationen, sondern ermöglicht Benutzern auch, diese nach ihren eigenen Vorlieben anzupassen. In diesem Artikel wird erläutert, wie Sie die Tastenkombinationseinstellungen in Eclipse anpassen, und es werden spezifische Codebeispiele gegeben. Öffnen Sie Eclipse. Öffnen Sie zunächst Eclipse und geben Sie ein

See all articles