大数据,Hadoop,HDFS的简单介绍
大数据
海量数据，具有高增长率、数据类型多样化、一定时间内无法使用常规软件工具进行捕捉、管理和处理的数据集
合
大数据的特征: 4V
Volume
:
巨大的数据量
Variety
:
数据类型多样化
结构化的数据
:
即具有固定格式和有限长度的数据
半结构化的数据
:
是一些
xml
或者
html
格式的数据
非结构化的数据
:
现在非结构化的数据越来越多，就是不定长、无固定格式的数据，例如网
页、语音、视频等
Velocity
: 数据增长速度快, [vəˈlɒsəti]
Value
:
价值密度低，商业价值高
大数据的处理:
数据采集，数据存储，数据清洗，数据分析，数据可视化。
核心就是 "
数据价值化
"
应用场景
存储和读取效率
分布式存储: 将一个数据集存储到多个硬盘里，
然后并行读取
比如
1T
的数据，我们平均
100
份存储到
100
个
1TB
硬盘上，同时读取，那么读取完整个数
据集的时间用不上两分钟。至于硬盘剩下的
99%
的容量，我们可以用来存储其他的数据集，这样就不会 产生浪费。解决读取效率问题的同时，我们也解决了大数据的存储问题。
存储大数据集----->>硬盘不够大、数据存储单份的安全隐患----->>分布式文件系统
快速分析大数据集----->>基于分布式文件系统的计算分析的编程框架模型
传统型关系数据库不适合存储非结构化数据------>>BigTable(适合存储结构化和半结构化数据)
Hadoop
Hadoop
是
Apache
基金会旗下
一个开源的分布式存储和分析计算平台
，使用
java
语言开发，具有很好的跨平台性，可以运行在商用(
廉价
)
硬件上，用户无需了解分布式底层细节，就可以开发分布式程序，充分使用集群的高速计算和存储
组成部分
面试必问
生态系统
Hadoop不仅仅是一个单一的软件，它是一个生态系统，意味着它包含了一系列的相关工具和框架，这些工具和框架可以相互配合使用，以支持不同类型的数据处理任务。
安装
CDH
使用CDH会简化Hadoop的安装,（Cloudera's Distribution Including Apache Hadoop）是由Cloudera公司提供的一种基于Apache Hadoop的大数据平台解决方案。它是一个企业级的发行版，旨在简化和优化Hadoop的部署、管理和使用.
CM 集群管理平台
(Cloudera Manager) 是一个功能全面的集群管理工具，它通过提供自动化的部署、配置、监控和管理功能，极大地简化了 Hadoop 集群的运维工作
HUE 开发平台
全称为Hadoop User Experience，是一个开源的Apache Hadoop UI系统，它为用户提供了一个在浏览器端与Hadoop集群进行交互的Web控制台.它提供了一个功能强大的SQL编辑器，用户可以编写、执行和调试SQL查询，支持自动完成、语法高亮和查询结果可视化。此外，Hue还内置了HDFS文件浏览器，用户可以方便地浏览、上传、下载和管理HDFS文件
Hue主要用于数据分析和处理，而Cloudera Manager则主要用于集群的管理和运维。
HDFS的结构图
HDFS的优点
1. 高容错性（硬件故障是常态）：数据自动保存多个副本，副本丢失后，会自动恢复
2. 适合大数据集：GB、TB、甚至PB级数据、千万规模以上的文件数量，1000以上节点规模(一台服务器/电脑是一个节点)
3. 构建成本低：Hadoop开源,并且可以构建在廉价机器上。
4. 多种软硬件平台中的可移植性
5. 高效性：Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。
HDFS的缺点
1. 不适合做低延迟数据访问(无法实时)：
HDFS适合处理大型数据集，高吞吐率。这一点以高延迟为代价的。因此HDFS不
适合处理用户要求的毫秒级的低延迟应用请求
2. 不适合小文件存取：
一是需要消耗大量的寻址时间，
第二, 无论块中文件大小, 文件的元数据所占的内存是相同的, 因此相对来说，大文件更省内存。如果文件太小,很可能导致元数据比文件本身还要大.
解决: 把多个小文件合并成大文件
3. 不适合并发写入，文件随机修改：
HDFS上的文件只能拥有一个写者，仅仅支持append操作。不支持多用户对同一个文件的写操作，以及在文件任意位置进行修改