当前位置: 首页 > article >正文

服务器日志自动上传到阿里云OSS备份

背景

公司服务器磁盘空间有限,只能存近15天日志,但是有时需要查看几个月前的日志,需要将服务器日志定时备份到某个地方,需要查询的时候有地方可查。

针对这个问题,想到3个解决方法:

1、买一个配置比较低,磁盘空间比较大的服务器,专门用来存储其他服务器日志

2、将服务器日志实时同步到阿里云日志服务

3、将服务器日志定期同步到阿里云OSS

方法1比较传统,且有丢失风险;由于我们历史日志查询频率不会很高(可能发现历史问题了,才能查询一次),所以优先选择的方法3.

步骤

1、先在阿里云上开通存储服务OSS,创建好bucket

2、在服务器上安装ossutil,参考如何安装ossutil_对象存储(OSS)-阿里云帮助中心 (注意,如果服务器是阿里云的ECS,配置Endpoint的时候一定要输入阿里云的内网Endpoint路径,例如oss-cn-hangzhou-internal.aliyuncs.com,否则传输速度很慢)

3、在服务器上编写执行脚本xxx-log-backup.sh

#!/bin/bash

# 获取当前日期的前十天的日期
date_10_days_ago=$(date -d "-10 days" +%Y-%m-%d)

# 创建指定路径
ossutil mkdir oss://xxx-log-backup/项目名称/$date_10_days_ago

# 拷贝指定文件,下面语句表示拷贝"/home/admin/项目名称/logs"路径下"xxx_2025-01-10*"的所有日志
ossutil cp /home/admin/项目名称/logs oss://xxx-log-backup/项目名称/$date_10_days_ago --include "xxx_${date_10_days_ago}*" --ignore-existing

4、先执行sh xxx-log-backup.sh看下日志是否正常拷贝到OSS,正常情况下如下图

5、定时执行xxx-log-backup.sh,crontab -e

0 2 * * * sh /home/admin/log-backup/xxx-log-backup.sh >> /home/admin/log-backup/xxx-log-backup.log


http://www.kler.cn/a/512550.html

相关文章:

  • Dart语言的学习路线
  • C语言之图像文件的属性
  • 大模型 | AI驱动的数据分析:利用自然语言实现数据查询到可视化呈现
  • 成就与远见:2024年技术与思维的升华
  • 【Spring】定义的Bean缺少隐式依赖
  • 使用Chrome和Selenium实现对Superset等私域网站的截图
  • 【网络协议】【http】【https】RSA+AES-TLS1.2
  • Unity3D学习笔记(一)
  • Python绘制数据地图-MovingPandas
  • 【Qt 常用控件】显示类控件——QLabel
  • 最长递增子序列问题(Longest Increasing Subsequence),动态规划法解决,贪心算法 + 二分查找优化
  • 鸿蒙子组件根据数据,刷新item Ui的规范
  • 重讲Diffusion Policy(从公式和代码角度): 个人最看好的机器人操控算法
  • 计算机网络常见协议
  • JS宏实例:隐藏窗口读取数据与简单的数据处理
  • debian中apt的配置与解析
  • 理解 package-lock.json 何时推送与忽略
  • 流行的开源高性能数据同步工具 - Apache SeaTunnel 整体架构运行原理
  • 【ARM】MDK-语言标准执行报错Error:268
  • C#操作Xml节点
  • 自动化办公|使用Python重命名并移动文件到对应文件夹
  • 基于微信小程序的医院挂号预约系统ssm+论文源码调试讲解
  • 基于行为分析的企业内网安全防护系统设计
  • 【大模型】ChatGPT 高效处理图片技巧使用详解
  • 《Vue3 十》Vue 底层原理
  • [gpu驱动] H200 nvidia-fabricmanager-550升级到nvidia-fabricmanager-565报错,升级步骤