데이터 베이스 MySQL 튜토리얼 在Eclipse中运行Nutch2.3

在Eclipse中运行Nutch2.3

Jun 07, 2016 pm 03:07 PM
eclipse 달리다

参考http://wiki.apache.org/nutch/RunNutchInEclipse 一、环境准备 1、下载nutch2.3源代码 wget http://mirror.bit.edu.cn/apache/nutch/2.3/apache-nutch-2.3-src.tar.gz 或者下载正在开发中的最新版本 svn co https://svn.apache.org/repos/asf/nutch/bra


参考http://wiki.apache.org/nutch/RunNutchInEclipse


一、环境准备

1、下载nutch2.3源代码

wget http://mirror.bit.edu.cn/apache/nutch/2.3/apache-nutch-2.3-src.tar.gz
로그인 후 복사
或者下载正在开发中的最新版本
 svn co https://svn.apache.org/repos/asf/nutch/branches/2.x
로그인 후 복사


2、选择使用的数据库类型,以hbase为例
在conf/nutch-site.xml中增加以下属性:

<property>
  <name>storage.data.store.class</name>
  <value>org.apache.gora.hbase.store.HBaseStore</value>
  <description>Default class for storing data</description>
 </property>
로그인 후 복사


3、在ivy/ivy.xml中增加与hbase相关的依赖项,此项本已存在,但被注释掉,将注释去掉即可

<dependency org="org.apache.gora" name="gora-hbase" rev="0.5" conf="*->default” />
注意,rev=0.5对应hbase0.94,rev=0.3对应hbase0.90.4


4、在nutch.xml中增加以下3个属性

<property>
   <name>http.agent.name</name>
   <value>My Nutch Spider</value>
 </property>
<property>
   <name>http.robots.agents</name>
   <value>none</value>
 </property>
<property>
   <name>plugin.folders</name>
   <value>/Users/liaoliuqing/0_Search/1_Nutch/1_Official/apache-nutch-2.3/build/plugins</value>
 </property>
其中plugin.folders的值为$NUTCH_HOME/build/plugins


5、执行ant eclipse


二、导入project

1、导入project


2、在build path中,将apche-nutch-2.3/conf放到最上面,即点击top按键

在Eclipse中运行Nutch2.3


三、运行程序

1、Run as ----> Run configuration,选择project与主类

在Eclipse中运行Nutch2.3

2、填写参数

/Users/liaoliuqing/Downloads/seed.txt

-Dhadoop.log.dir=logs -Dhadoop.log.file=hadoop.log

在Eclipse中运行Nutch2.3

3、点击run,输出结果如下:

InjectorJob: starting at 2015-01-28 16:27:43
InjectorJob: Injecting urlDir: /Users/liaoliuqing/Downloads/seed.txt
InjectorJob: Using class org.apache.gora.hbase.store.HBaseStore as the Gora storage class.
InjectorJob: total number of urls rejected by filters: 0
InjectorJob: total number of urls injected after normalization and filtering: 1
Injector: finished at 2015-01-28 16:27:47, elapsed: 00:00:04


注意,在运行程序前,本机需要先启动hbase。


4、查看hbase中的数据

hbase(main):003:0> scan 'webpage'
ROW                                         COLUMN+CELL                                                                                                                 
 com.163.www:http/                          column=f:fi, timestamp=1422433667377, value=\x00'\x8D\x00                                                                   
 com.163.www:http/                          column=f:ts, timestamp=1422433667377, value=\x00\x00\x01K/\xA7:\x14                                                         
 com.163.www:http/                          column=mk:_injmrk_, timestamp=1422433667377, value=y                                                                        
 com.163.www:http/                          column=mk:dist, timestamp=1422433667377, value=0                                                                            
 com.163.www:http/                          column=mtdt:_csh_, timestamp=1422433667377, value=?\x80\x00\x00                                                             
 com.163.www:http/                          column=s:s, timestamp=1422433667377, value=?\x80\x00\x00                                                                    
1 row(s) in 0.2970 seconds
로그인 후 복사






본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

Eclipse에서 배경색 설정을 조정하는 방법 Eclipse에서 배경색 설정을 조정하는 방법 Jan 28, 2024 am 09:08 AM

Eclipse에서 배경색을 설정하는 방법은 무엇입니까? Eclipse는 개발자들 사이에서 널리 사용되는 IDE(통합 개발 환경)이며 다양한 프로그래밍 언어로 개발하는 데 사용할 수 있습니다. 매우 강력하고 유연하며 설정을 통해 인터페이스와 편집기의 모양을 사용자 정의할 수 있습니다. 이 기사에서는 Eclipse에서 배경색을 설정하는 방법을 소개하고 구체적인 코드 예제를 제공합니다. 1. 편집기 배경색을 변경합니다. Eclipse를 열고 "Windows" 메뉴로 들어갑니다. "환경 설정"을 선택하십시오. 왼쪽으로 탐색

Linux 시스템에서 .sh 파일을 실행하는 방법은 무엇입니까? Linux 시스템에서 .sh 파일을 실행하는 방법은 무엇입니까? Mar 14, 2024 pm 06:42 PM

Linux 시스템에서 .sh 파일을 실행하는 방법은 무엇입니까? Linux 시스템에서 .sh 파일은 일련의 명령을 실행하는 데 사용되는 셸 스크립트라는 파일입니다. .sh 파일 실행은 매우 일반적인 작업입니다. 이 기사에서는 Linux 시스템에서 .sh 파일을 실행하는 방법을 소개하고 구체적인 코드 예제를 제공합니다. 방법 1: 절대 경로를 사용하여 .sh 파일을 실행합니다. Linux 시스템에서 .sh 파일을 실행하려면 절대 경로를 사용하여 파일 위치를 지정할 수 있습니다. 구체적인 단계는 다음과 같습니다. 터미널을 엽니다.

PyCharm 사용 튜토리얼: 작업 실행에 대해 자세히 안내합니다. PyCharm 사용 튜토리얼: 작업 실행에 대해 자세히 안내합니다. Feb 26, 2024 pm 05:51 PM

PyCharm은 매우 인기 있는 Python 통합 개발 환경(IDE)으로 Python 개발을 더욱 효율적이고 편리하게 만들어주는 다양한 기능과 도구를 제공합니다. 이 기사에서는 PyCharm의 기본 작동 방법을 소개하고 독자가 도구 작동을 빠르게 시작하고 능숙하게 사용할 수 있도록 구체적인 코드 예제를 제공합니다. 1. PyCharm 다운로드 및 설치 먼저 PyCharm 공식 웹사이트(https://www.jetbrains.com/pyc)로 이동해야 합니다.

전문가 지침: Eclipse Lombok 플러그인을 성공적으로 설치하는 방법에 대한 전문가 조언 및 단계 전문가 지침: Eclipse Lombok 플러그인을 성공적으로 설치하는 방법에 대한 전문가 조언 및 단계 Jan 28, 2024 am 09:15 AM

전문적인 지침: Eclipse에 Lombok 플러그인을 설치하기 위한 전문가의 조언과 단계, 특정 코드 예제가 필요합니다. 요약: Lombok은 주석을 통해 Java 코드 작성을 단순화하고 몇 가지 강력한 도구를 제공하는 Java 라이브러리입니다. 이 기사에서는 독자들에게 Eclipse에서 Lombok 플러그인을 설치 및 구성하는 방법을 소개하고 독자가 Lombok 플러그인을 더 잘 이해하고 사용할 수 있도록 몇 가지 구체적인 코드 예제를 제공합니다. 먼저 Lombok 플러그인을 다운로드하세요.

Eclipse 코드 실행 문제에 대한 솔루션 공개: 다양한 실행 오류 문제 해결에 도움 Eclipse 코드 실행 문제에 대한 솔루션 공개: 다양한 실행 오류 문제 해결에 도움 Jan 28, 2024 am 09:22 AM

Eclipse 코드 실행 문제에 대한 솔루션이 공개되었습니다. 다양한 코드 실행 오류를 제거하는 데 도움이 되며 특정 코드 예제가 필요합니다. 소개: Eclipse는 일반적으로 사용되는 통합 개발 환경(IDE)이며 Java 개발에 널리 사용됩니다. Eclipse는 강력한 기능과 친숙한 사용자 인터페이스를 갖추고 있지만 코드를 작성하고 디버깅할 때 다양한 실행 문제에 직면하는 것은 불가피합니다. 이 기사에서는 몇 가지 일반적인 Eclipse 코드 실행 문제를 밝히고 솔루션을 제공합니다. 독자들의 이해를 돕기 위해 이 점 유의하시기 바랍니다.

Eclipse를 사용하여 배경색을 변경하는 방법에 대한 단계별 가이드 Eclipse를 사용하여 배경색을 변경하는 방법에 대한 단계별 가이드 Jan 28, 2024 am 08:28 AM

Eclipse에서 배경색을 변경하는 방법을 단계별로 설명합니다. 특정 코드 예제가 필요합니다. Eclipse는 Java 프로젝트를 작성하고 디버깅하는 데 자주 사용되는 매우 인기 있는 통합 개발 환경(IDE)입니다. 기본적으로 Eclipse의 배경색은 흰색이지만 일부 사용자는 자신의 취향에 맞게 배경색을 변경하거나 눈의 피로를 줄이기를 원할 수 있습니다. 이 기사에서는 Eclipse에서 배경색을 변경하는 방법을 단계별로 설명하고 구체적인 코드 예제를 제공합니다. 1단계: 먼저 Eclipse 열기

Eclipse에서 바로 가기 키 설정을 사용자 정의하는 방법 Eclipse에서 바로 가기 키 설정을 사용자 정의하는 방법 Jan 28, 2024 am 10:01 AM

Eclipse에서 바로 가기 키 설정을 사용자 정의하는 방법은 무엇입니까? 개발자로서 단축키를 익히는 것은 Eclipse에서 코딩할 때 효율성을 높이는 열쇠 중 하나입니다. 강력한 통합 개발 환경인 Eclipse는 다양한 기본 바로가기 키를 제공할 뿐만 아니라 사용자가 자신의 기본 설정에 따라 사용자 정의할 수도 있습니다. 이 기사에서는 Eclipse에서 바로 가기 키 설정을 사용자 정의하는 방법을 소개하고 특정 코드 예제를 제공합니다. Eclipse 열기 먼저 Eclipse를 열고 Enter를 누르십시오.

Windows 7에서 exe 파일을 실행할 수 없는 이유 Windows 7에서 exe 파일을 실행할 수 없는 이유 Feb 18, 2024 pm 08:32 PM

win7에서 exe 파일을 실행할 수 없는 이유는 무엇입니까? Windows7 운영 체제를 사용할 때 많은 사용자가 exe 파일을 실행할 수 없는 일반적인 문제에 직면할 수 있습니다. exe 파일은 Windows 운영 체제에서 일반적으로 사용되는 실행 파일로 다양한 응용 프로그램을 설치하고 실행하는 데 사용됩니다. 그러나 일부 사용자는 exe 파일을 실행하려고 할 때 시스템이 응답하지 않거나 오류 메시지를 표시하는 것을 발견할 수 있습니다. 이 문제에는 여러 가지 이유가 있습니다. 다음은 몇 가지 일반적인 원인과 해당 해결 방법입니다.

See all articles