Hadoop初体验
一、HDFS初体验
-
1. shell命令操作
hadoop fs -mkdir /itcast
hadoop fs -put zookeeper.out /itcast
hadoop fs -ls /
-
2. Web UI页面操作
结论：
- HDFS本质就是一个文件系统
- 有目录树结构 和Linux类似，分文件、文件夹
- 为什么上传一个小文件也这么慢？
二、MapReduce +YARN初体验
执行Hadoop官方自带的MapReduce案例
评估圆周率π的值
cd /export/server/hadoop-3.1.4/share/hadoop/mapreduce/
hadoop jar hadoop-mapreduce-examples-3.1.4.jar pi 2 4
思考：
- MapReduce本质是程序？
- 执行MapReduce的时候，为什么首先请求YARN?
- MapReduce看上去好像是两个阶段？
- 先Map,再Reduce？
- 处理小数据的时候，MapReduce速度快吗？