当前位置: 首页 > article >正文

hdfs之读写流程

写入流程:

客户端Client想将文件a.txt上传至hdfs,首先向Namenode发送请求进行权限校验,Namenode通过后会计算出来三个节点,并将这三个节点告知客户端,客户端将输入进行切割成块,一个一个的块进行传输,单位是packet,大小64kb,各个数据节点之间也会创建pipeline,中间也是传递的packet,各个节点传递成功后会进行应答响应,最后汇总在一起告知客户端传递好了。各个数据节点之间传递数据是同时进行的。

 

 

 读取流程:

客户端想将hdfs上的文件a.txt读取出来,先向Namenode进行权限校验,成功后Namenode将a.txt在各个节点的存储信息位置告知客户端(元数据),然后客户端去客户端上拉取数据,最后将拉取的块文件汇总在一起形成新的文件。

 


http://www.kler.cn/a/525273.html

相关文章:

  • Nginx前端后端共用一个域名如何配置
  • LangChain的开发流程
  • css中的animation
  • OpenHarmony 5.0.2 Release来了!
  • 浅析百度AOI数据与高德AOI数据的差异性
  • lightweight-charts-python 包 更新 lightweight-charts.js 的方法
  • AI学习指南Ollama篇-使用Ollama构建自己的私有化知识库
  • 【单细胞-第三节 多样本数据分析】
  • 大模型(LLM)工程师实战之路(含学习路线图、书籍、课程等免费资料推荐)
  • 为AI聊天工具添加一个知识系统 之78 详细设计之19 正则表达式 之6
  • 租赁系统为企业资产管理提供高效解决方案促进业务增长与创新
  • premierePro 2022创建序列方式
  • 为AI聊天工具添加一个知识系统 之77 详细设计之18 正则表达式 之5
  • 高级同步工具解析
  • 认识小程序页面,小程序的宿主环境
  • Python 类型注解
  • 新手项目管理的实用工具推荐
  • 《探秘人工智能:从基础到未来变革》
  • U盘打开提示格式化:深度解析与数据恢复全攻略
  • 如何在 PowerPoint 中新建幻灯片?
  • 2025 春节联欢晚会魔术揭秘
  • C语言初阶牛客网刷题—— HJ97 记负均正【难度:简单】
  • 飞桨PaddleNLP套件中使用DeepSeek r1大模型
  • Thinkphp+Uniapp开发的多端商城系统源码H5小程序APP支持DIY模板直播分销(亲测)
  • Lustre Core 语法 - 数组操作表达式
  • 使用八爪鱼爬虫和Web Scraper抓取数据实战案例,附详细教程