Ubuntu环境下nutch2.2.1集成HBase0.94.25

时间:2023-12-02 11:58:56

nutch2.2.1集成HBase0.94.25

(详见:http://duguyiren3476.iteye.com/blog/2085973 )

1. 修改nutch的hbase配置

//将自己的hbase配置copy到nutch配置中
cp /home/hbase/conf/hbase-site.xml /home/nutch/conf/

2. 使用hbase0.92.2-jar代替原来的hbase文件(在/home/nutch/runtime/local/lib中)

原因:(我使用的hbase时0.94.25)

nutch自带的gora3.0只能最高支持hbase0.92,默认的是hbase0.90

如果使用默认的hbase0.90操作自己安装的hbase0.94,报错:

java.lang.IllegalArgumentException: Not a host:port pair

如果直接使用hbase0.94操作自己安装的hbase0.94,报错:

java.lang.NoSuchMethodError:org.apache.hadoop.hbase.HColumnDescriptor.setMaxVersions(I)V

解决办法:

使用0.92.2hbase的jar文件

3. 抓取

  (1)设置抓取地址

cd runtime/local/
mkdir -p urls
sudo gedit urls/seed.txt

在seed中填入你要抓取的地址:比如:http://www.apache.org/

  (2)将urls放到hdfs系统中

hadoop fs -copyFromLocal urls /home/hadoop/urls

  (3)运行nutch,并把结果放到hbase

nutch inject /home/hadoop/urls

  (4)查看hbase

hbase shell

//进入shell后
list

如果出现 “webpage” 则成功。

  (5)

nutch  generate -topN 3
nutch fetch -all
nutch parse -all
nutch updatedb

  (6)进入hbase查询