当前位置: 首页 > article >正文

通过shell脚本定时采集数据到HDFS

第一步:创建shell脚本(在虚拟机1下的/export/data目录下执行vi uploadHDFS.sh命令,编辑shell脚本文件,具体代码如下:)

第二步:执行shell脚本(确保Hadoop集群处于启动状态,进入到/export/data目录下执行sh uploadHDFS.sh)

第三步:验证Hadoop日志文件是否上传成功(在浏览器中查看,结果如图所示:)

第四步:定时执行Shell脚本文件

(1)在虚拟机上执行rpm -qa | grep crontab命令,检查是否安装里crontab,下图是安装过了的

(2)使用crontab时,必须保证是运行状态,启动Crontab服务。

(3)进入到虚拟机的/export/data目录下,为shell脚本添加可执行权限,目的是通过Crontab的定时任务运行Shell脚本文件。

(4)执行crontab -e命令编辑Crontab文件,使用crontab -l命令可查看指定的定时任务。配置定时任务,在Crontab中添加内容如下:每隔两分钟就会执行一次shell脚本。


http://www.kler.cn/a/470210.html

相关文章:

  • 使用MediaPipe Face Mesh 面部动作检测
  • 产品经理-竞品分析
  • neo4j学习笔记
  • SQL编程语言
  • TPS和QPS的区别
  • Sql中WITH的作用
  • 深度学习,训练集准确率高,但验证集准确率一直不上升,很低的问题
  • 【人工智能中的数据科学与数据处理】——详解人工智能中的数据科学与数据处理之数据可视化技巧
  • 算法:两个升序单链表的合并
  • 起重机检测数据集VOC+YOLO格式2316张1类别
  • Adaboost:基于弱学习器组合实现强大性能提升的集成学习方法解析
  • 密码学基本理论
  • YOLOV8涨点之多尺度注意力融合(MAF)模块
  • 【异常解决】Unable to start embedded Tomcat Nacos 启动报错
  • 番外篇-CSS3新增特性
  • Nginx:反向代理
  • zephyr移植到STM32
  • 【昌哥IT课堂】MySQL8.0新特性之binlog加密与解密
  • 力扣leetcode 77 - 组合 C语言解法 递归+回溯
  • 用 HTML5 Canvas 和 JavaScript 实现流星雨特效
  • ENSP综合实验(中小型网络)
  • 解决电脑开机PcaSvc.dll出错丢失条目:PcaWallpaperAppDetect最新方法
  • 物联网:七天构建一个闭环的物联网DEMO
  • 【Golang 面试题】每日 3 题(二十)
  • Java基础 注解
  • C#版OpenCv常用函数大全