2007-09-16

完成了自定义入nutch库的命令

关键字: nutch lucene hadoop
可以利用到hadoop的map/reduce和hdfs，感觉还是很爽，需要注意的几点总结如下:

1.自定义命令类可以单独作一个jar，但要记得部署到每个节点，否则会无法执行
2.记得启动maper服务，否则无法进行map/reduce计算
3.自定义命令调用方法bin/nutch CLASSNAME 参数
4.目前没有找到更简便的调试方式，目前都是编译完，打包上传，执行，步骤觉得复杂了一些
5.nutch0.8不能使用最新的hadoop0.14比较可惜，不过照发展趋势应该很快可以使用
评论
发表评论

您还没有登录，请登录后发表评论

清风
搜索本博客
最新评论