基于Hadoop MapReduce的WordCount任务实现与部署
注:下述步骤仅供参考,具体指令和操作截图的word版本可见上方本博文免费资源绑定。
1、创建/wordcount/input目录
2、将word.txt上传到/wordcount/input目录下
3、编写Maven文件,包含类WordCountCombiner、WordCountDriver、WordCountMapper、WordCountReducer
4、禁止test操作、点击clean后点击package进行打包,生成jar包
5、利用mobaXterm把生成的HadoopDemo-1.0-SNAPSHOT.jar文件上传到hadoop1
6、在hadoop1结点执行
hadoop jar HadoopDemo-1.0-SNAPSHOT.jar cn.itcast.hadoop.mr.WordCountDriver /wordcount/input /wordcount/output
7、打开浏览器,系统自动生成/wordcount/output文件夹