当前位置： 首页 > article >正文

Hadoop简介

article 2025/2/28 11:42:26

1. Hadoop简介

官网：http://hadoop.apache.org

1.1 Hadoop架构
  • Hadoop由三个模块组成：分布式存储HDFS、分布式计算MapReduce、资源调度引擎YARN

请添加图片描述

1.2 Hadoop历史

请添加图片描述

  • Hadoop作者Doug Cutting

  • Apache Lucene是一个文本搜索系统库

  • Apache Nutch作为前者的一部分，主要包括web爬虫、全文检索；2003年“谷歌分布式文件系统GFS”论文，2004年开源版本NDFS

  • 2004年“谷歌MapReduce”论文，2005年Nutch开源版MapReduce

请添加图片描述

2、更多内容：

  • HDFS分布式文件系统
  • MR(MapReduce)离线数据处理
  • YARN集群资源管理

http://www.kler.cn/a/564485.html

相关文章：

  • SQL注入（一）—— sql手动注入实操
  • nio中ByteBuffer使用
  • 记录MFC联合halcon界面显示开发
  • Ubuntu下QT安装和调试的常见问题(一)__could_not_dertermine_which_make
  • 大白话解释深度学习中多尺度特征融合及其意义
  • 趣讲TCP三次握手
  • 使用Apifox动态生成请求参数
  • 如何将mobaxterm的默认编辑器修改为vscode
  • 深入浅出：插入排序算法完全解析
  • Java中，Scanner和System.out超时的解决方法及原理
  • 【含文档+PPT+源码】基于过滤协同算法的旅游推荐管理系统设计与实现
  • Spring Boot + JSqlParser：全面解析数据隔离最佳实践
  • 左值引用与右值引用详解
  • Autosar_RTE基础概念整理
  • 为AI聊天工具添加一个知识系统 之125 详细设计之66 智能语义网络
  • leetcode 912. 排序数组
  • 需求： 使用 minio 做一个 企业微信对话的下载、存储，利用deepseek进行对话回复
  • 在VSCode中安装jupyter跑.ipynb格式文件
  • PhpStorm 绿色版 安装包 Win/Mac/Linux 商业的PHP集成开发环境 2025全栈开发终极指南：从零配置到企业级实战
  • 腾讯云的海外轻量云套餐