当前位置： 首页 > article >正文

DBA使用Shell完成自动化相关工作

article 2024/12/22 19:41:36

  1. 数据库备份和恢复： Shell脚本可以自动化数据库备份和恢复的过程，以及在备份和恢复过程中需要执行的其他操作，例如将备份文件传输到远程服务器等。

数据库进行备份的脚本： 

以下是一个示例 Oracle 19c 数据库备份脚本，该脚本将备份数据库并将备份文件传输到远程服务器。您可以使用 cron 作业调度器定期运行此脚本。

#!/bin/bash

# set backup and log file paths
BACKUP_DIR=/opt/oracle/backup
LOG_FILE=/opt/oracle/backup.log

# set remote server details
REMOTE_HOST=remote-server.example.com
REMOTE_USER=username
REMOTE_DIR=/backup

# run backup using RMAN
rman target / << EOF >> $LOG_FILE
run {
allocate channel ch1 type disk;
backup as compressed backupset database plus archivelog delete input;
release channel ch1;
}
EOF

# check if backup was successful
if [ $? -eq 0 ]; then
   echo "Backup completed successfully on $(date)." >> $LOG_FILE
   
   # transfer backup file to remote server
   scp $BACKUP_DIR/*.bkp $REMOTE_USER@$REMOTE_HOST:$REMOTE_DIR
   
   # check if transfer was successful
   if [ $? -eq 0 ]; then
      echo "Backup file transfer to remote server completed successfully on $(date)." >> $LOG_FILE
   else
      echo "Error: Backup file transfer to remote server failed on $(date)." >> $LOG_FILE
   fi
else
   echo "Error: Backup failed on $(date)." >> $LOG_FILE
fi

请注意，此脚本使用了相同的备份命令和传输命令作为之前示例中的脚本，但是在此示例中，它被封装在一个 shell 脚本中以便自动化。根据需要修改脚本来适应您自己的环境和需求。

接下来，您需要配置计划任务来定期运行此脚本。为了每天晚上11点运行备份脚本，请使用以下命令来编辑当前用户的 crontab 文件：

crontab -e

 然后添加以下行：

0 23 * * * /path/to/backup/script.sh

这将导致脚本每天晚上11点运行一次，并在完成备份和传输之后将输出写入日志文件中。

数据库进行恢复的脚本：

以下是一个示例 Oracle 19c 数据库恢复脚本，该脚本将使用 RMAN 工具来恢复数据库。在运行此脚本之前，请确保您已经创建了备份并知道要恢复的时间点。

 

#!/bin/bash

# set log file path
LOG_FILE=/opt/oracle/recovery.log

# specify recovery target time
RECOVERY_TIME="TO_DATE('2022-03-15 10:00:00', 'YYYY-MM-DD HH24:MI:SS')"

# run recovery using RMAN
rman target / << EOF >> $LOG_FILE
run {
set until time $RECOVERY_TIME;
restore database;
recover database;
}
EOF

# check if recovery was successful
if [ $? -eq 0 ]; then
   echo "Recovery completed successfully on $(date)." >> $LOG_FILE
else
   echo "Error: Recovery failed on $(date)." >> $LOG_FILE
fi

 请注意，在此示例中，我们通过设置 RECOVERY_TIME 变量来指定需要恢复到的时间点。这个变量应该设置为正确的时间点，以确保只恢复到所需的时间点。

此脚本还将输出写入日志文件中，以便您可以随时检查恢复操作的结果和状态。根据需要修改脚本来适应您自己的环境和需求。

2.数据库监控和维护： Shell脚本可以通过定期运行SQL脚本和检查日志文件等方式来监控数据库的性能和健康状况，并在发现异常情况时执行相关维护操作，例如重新启动数据库实例、清理临时文件等。

以下是一个示例监控脚本，它将定期运行 SQL 脚本并检查日志文件以监视数据库性能和健康状况。如果发现异常情况，脚本将执行相关维护操作，例如重新启动数据库实例、清理临时文件等。

#!/bin/bash

# set log file path
LOG_FILE=/opt/oracle/monitor.log

# run SQL script
sqlplus -s /nolog << EOF >> $LOG_FILE
connect username/password@database_name;

@/path/to/sql/script.sql;
EOF

# check log file for errors or warnings
if grep -q "ORA-" $LOG_FILE; then
   echo "Warning: SQL script generated errors or warnings on $(date)." >> $LOG_FILE
fi

# check alert log file for errors or warnings
ALERT_LOG=/opt/oracle/diag/rdbms/database_name/trace/alert_database_name.log

if grep -q "ORA-" $ALERT_LOG; then
   echo "Warning: Alert log file contains errors or warnings on $(date)." >> $LOG_FILE
fi

# perform maintenance if necessary
if [ -n "$(grep 'ORA-00020' $ALERT_LOG)" ]; then
   echo "Database instance is hung. Restarting database..." >> $LOG_FILE
   systemctl restart oracle
fi

if [ -n "$(find /opt/oracle/admin/tmp -type f -mtime +7)" ]; then
   echo "Cleaning up temporary files..." >> $LOG_FILE
   rm /opt/oracle/admin/tmp/*
fi

 请注意，在此示例中，我们使用了相同的方法来运行 SQL 脚本并检查日志文件。如果发现异常情况，脚本将执行相关的维护操作。例如，如果发现数据库实例挂起，脚本将重启数据库实例；如果发现临时文件夹中的文件超过 7 天未使用，脚本将删除它们。

 根据需要修改脚本来适应您自己的环境和需求。要定期运行此脚本，请使用以下命令来编辑当前用户的 crontab 文件：

crontab -e

然后添加以下行：

0 0 * * * /path/to/monitor/script.sh

这将导致脚本每天午夜12点运行一次，并在完成运行之后将输出写入日志文件中。

 

3.系统管理和自动化运维： Shell脚本可以编写系统管理工具并进行自动化运维，例如检查磁盘空间、删除过期的日志文件、执行定期维护任务等。

以下是一个示例系统管理工具脚本，它将检查磁盘空间、删除过期的日志文件，执行定期维护任务等。您可以使用此脚本来自动化运维操作，并根据需要进行修改以满足特定需求。

 

#!/bin/bash

# check disk space usage
DISK_THRESHOLD=90  # set the threshold in %
DISK_USAGE=$(df -h / | awk '{print $5}' | tail -n1 | tr -d '%')
if [ "$DISK_USAGE" -gt "$DISK_THRESHOLD" ]; then
  echo "Warning: Disk space usage is above ${DISK_THRESHOLD}%" >&2
fi

# delete old log files
LOG_DIR=/var/log/your-app
DAYS_TO_KEEP=7
find "$LOG_DIR" -type f -mtime +"$DAYS_TO_KEEP" -delete

# run regular maintenance tasks
# ...

echo "$(date) - System management tasks completed." >> /var/log/sysadmin.log

在上述示例中：

  • 我们使用 df 命令来获取磁盘空间使用情况，并将其与预设的阈值比较。
  • 使用 find 命令来删除指定目录中早于指定天数的文件。
  • 在完成所有任务后，我们将消息写入系统日志文件。

要使用此脚本进行自动化运维操作，请将其命名为 sysadmin-tool.sh 或类似的名称，并将其放置在适当的位置（例如 /usr/local/bin）。然后，您可以将此脚本添加到计划任务中，以便定期运行。

 要编辑当前用户的 crontab 文件，请使用以下命令：

crontab -e

然后，添加以下行以每小时运行一次：

0 * * * * /usr/local/bin/sysadmin-tool.sh

根据需要修改脚本来适应您自己的环境和需求，例如更改目标目录、更改保存日志文件的位置、增加其他维护任务等。

4.安装和部署： Shell脚本可以自动化安装和部署Oracle数据库和相关应用程序，例如通过命令行界面或安装向导安装Oracle软件、创建数据库实例、分配权限等。

以下是一个示例 Oracle 数据库自动化安装和部署脚本，该脚本可以通过命令行界面或安装向导来安装 Oracle 软件、创建数据库实例并分配权限。

#!/bin/bash

# set variables for installation
ORACLE_HOME=/u01/app/oracle/product/19.0.0/dbhome_1
ORACLE_BASE=/u01/app/oracle
DB_NAME=mydb
DB_SID=mydb
DB_PORT=1521
INSTALL_FILE="LINUX.X64_193000_db_home.zip"
INSTALL_DIR="/tmp/install"

# create installation directory if it doesn't exist
mkdir -p "$INSTALL_DIR"

# download the Oracle software installation file
echo "Downloading Oracle software installation file..."
cd "$INSTALL_DIR" || exit
wget https://download.oracle.com/otn/linux/oracle19c/"$INSTALL_FILE"

# extract and install Oracle software
unzip -q "$INSTALL_FILE"
cd "database" || exit
./runInstaller \
   -silent \
   -responseFile "$INSTALL_DIR/response/db_install.rsp" \
   -ignoreSysPrereqs \
   -waitForCompletion \
   -showProgress

# create a new database
echo "Creating Oracle database instance..."
dbca -silent \
   -createDatabase \
   -templateName General_Purpose.dbc \
   -gdbname "$DB_NAME" \
   -sid "$DB_SID" \
   -sysPassword oracle \
   -systemPassword oracle \
   -emConfiguration NONE \
   -datafileDestination /u01/app/oracle/oradata \
   -characterSet AL32UTF8 \
   -totalMemory 2048 \
   -memoryPercentage 25 \
   -redoLogFileSize 50 \
   -sampleSchema true \
   -enableArchive true

# set environment variables
echo "Setting environment variables for Oracle software..."
echo "export ORACLE_HOME=$ORACLE_HOME" >> /etc/profile.d/oracle.sh
echo "export ORACLE_BASE=$ORACLE_BASE" >> /etc/profile.d/oracle.sh
echo "export PATH=$PATH:$ORACLE_HOME/bin" >> /etc/profile.d/oracle.sh
source /etc/profile.d/oracle.sh

# configure listener and TNS names
echo "Configuring listener and TNS names..."
lsnrctl start
echo "LISTENER =
  (DESCRIPTION_LIST =
    (DESCRIPTION =
      (ADDRESS = (PROTOCOL = TCP)(HOST = localhost)(PORT = $DB_PORT))
    )
  )

SID_LIST_LISTENER =
  (SID_LIST =
    (SID_DESC =
      (GLOBAL_DBNAME = $DB_NAME)
      (SID_NAME = $DB_SID)
      (ORACLE_HOME = $ORACLE_HOME)
    )
  )

" > "$ORACLE_HOME/network/admin/listener.ora"

echo "
$DB_SID =
  (DESCRIPTION =
    (ADDRESS = (PROTOCOL = TCP)(HOST = localhost)(PORT = $DB_PORT))
    (CONNECT_DATA =
      (SERVER = DEDICATED)
      (SERVICE_NAME = $DB_SID)
    )
  )

" > "$ORACLE_HOME/network/admin/tnsnames.ora"

# grant required privileges
echo "Granting permissions to Oracle users..."
sqlplus -s / as sysdba <<EOF
ALTER USER SYS IDENTIFIED BY oracle;
ALTER USER SYSTEM IDENTIFIED BY oracle;
GRANT CONNECT, RESOURCE, DBA TO username;
EXIT;
EOF

echo "Oracle database installation and configuration completed successfully."

在上述示例中：

  • 我们设置了变量以指定 Oracle 安装的位置、数据库名称、SID、端口等。
  • 下载并解压 Oracle 安装文件，并使用 runInstaller 命令进行安装。
  • 使用 dbca 命令创建新的数据库实例。
  • 设置环境变量以便让系统找到 Oracle 软件。
  • 配置监听器和 TNS 名称，使其能够连接到数据库实例。
  • 最后，使用 sqlplus 命令授予必要的权限。

根据需要修改脚本来适应您自己的环境和需求。例如，更改变量以适应您的安装路径和参数，添加其他自定义配置等。

请注意，在运行此脚本之前，您需要先为当前用户授权以执行所有必要操作，例如安装软件、创建数据库等。例如，使用以下命令将当前用户添加到 dba 组中：

sudo usermod -aG dba "$(whoami)"

 然后，您可以运行此脚本进行自动化 Oracle 数据库安装和部署。注意，在运行脚本前，请务必备份系统和数据。

如果您需要通过交互式方式安装 Oracle 软件和创建新的数据库实例，则可以基于上述脚本编写一个包含提示语句的脚本。例如：

#!/bin/bash

# prompt for installation details
read -p "Enter the Oracle home directory name (default: /u01/app/oracle/product/19.0.0/dbhome_1): " ORACLE_HOME
ORACLE_HOME=${ORACLE_HOME:-/u01/app/oracle/product/19.0.0/dbhome_1}

read -p "Enter the Oracle base directory name (default: /u01/app/oracle): " ORACLE_BASE
ORACLE_BASE=${ORACLE_BASE:-/u01/app/oracle}

read -p "Enter the database name (default: mydb): " DB_NAME
DB_NAME=${DB_NAME:-mydb}

read -p "Enter the database SID (default: mydb): " DB_SID
DB_SID=${DB_SID:-mydb}

read -p "Enter the database port number (default: 1521): " DB_PORT
DB_PORT=${DB_PORT:-1521}

# download and extract the Oracle software installation file
echo "Downloading Oracle software installation file..."
cd "/tmp" || exit
read -p "Enter the Oracle software installation file URL: " SOFTWARE_URL
wget "$SOFTWARE_URL"
INSTALL_FILE=$(ls LINUX.X64_*.zip)
unzip -q "$INSTALL_FILE"

# install Oracle software
echo "Installing Oracle software..."
cd "database" || exit
./runInstaller

# create a new database
echo "Creating Oracle database instance..."
dbca

# set environment variables
echo "Setting environment variables for Oracle software..."
echo "export ORACLE_HOME=$ORACLE_HOME" >> /etc/profile.d/oracle.sh
echo "export ORACLE_BASE=$ORACLE_BASE" >> /etc/profile.d/oracle.sh
echo "export PATH=$PATH:$ORACLE_HOME/bin" >> /etc/profile.d/oracle.sh
source /etc/profile.d/oracle.sh

# configure listener and TNS names
echo "Configuring listener and TNS names..."
lsnrctl start
echo "LISTENER =
  (DESCRIPTION_LIST =
    (DESCRIPTION =
      (ADDRESS = (PROTOCOL = TCP)(HOST = localhost)(PORT = $DB_PORT))
    )
  )

SID_LIST_LISTENER =
  (SID_LIST =
    (SID_DESC =
      (GLOBAL_DBNAME = $DB_NAME)
      (SID_NAME = $DB_SID)
      (ORACLE_HOME = $ORACLE_HOME)
    )
  )

" > "$ORACLE_HOME/network/admin/listener.ora"

echo "
$DB_SID =
  (DESCRIPTION =
    (ADDRESS = (PROTOCOL = TCP)(HOST = localhost)(PORT = $DB_PORT))
    (CONNECT_DATA =
      (SERVER = DEDICATED)
      (SERVICE_NAME = $DB_SID)
    )
  )

" > "$ORACLE_HOME/network/admin/tnsnames.ora"

# grant required privileges
echo "Granting permissions to Oracle users..."
sqlplus -s / as sysdba <<EOF
ALTER USER SYS IDENTIFIED BY oracle;
ALTER USER SYSTEM IDENTIFIED BY oracle;
GRANT CONNECT, RESOURCE, DBA TO username;
EXIT;
EOF

echo "Oracle database installation and configuration completed successfully."

在此示例中，我们添加了几个提示语句来引导用户输入所需的安装信息（例如 Oracle Home 目录、数据库名称等）。用户可以根据自己的需求更改这些信息。然后，脚本将下载并解压 Oracle 安装文件，并使用交互式方式安装 Oracle 软件和创建新的数据库实例。

请注意，在运行此脚本之前，您需要先为当前用户授权以执行所有必要操作，例如安装软件、创建数据库等。另外，此脚本需要用户手动输入一些信息，因此不能完全自动化。

5.其他任务： Shell脚本还可以用于执行其他与Oracle数据库相关的任务，例如数据迁移、用户管理、权限分配等。

以下是一个示例 Oracle 数据库管理脚本，它可以执行数据迁移、用户管理和权限分配等任务。

#!/bin/bash

# set variables for data migration
SOURCE_DB=mydb1
SOURCE_SCHEMA=schema1
TARGET_DB=mydb2
TARGET_SCHEMA=schema2
TABLES=(table1 table2 table3)

# migrate data from source database to target database
echo "Migrating data from $SOURCE_SCHEMA in $SOURCE_DB to $TARGET_SCHEMA in $TARGET_DB..."
for table in "${TABLES[@]}"; do
  expdp "'/ as sysdba'" \
    directory=DATA_PUMP_DIR \
    schemas=$SOURCE_SCHEMA \
    tables=$table \
    dumpfile=$table.dmp \
    logfile=$table.log
  impdp "'/ as sysdba'" \
    directory=DATA_PUMP_DIR \
    remap_schema=$SOURCE_SCHEMA:$TARGET_SCHEMA \
    dumpfile=$table.dmp \
    logfile=$table_imp.log \
    exclude=INDEX,CONSTRAINT
done

# create a new user and grant privileges
NEW_USER=new_user
NEW_PASSWORD=password123
echo "Creating new user $NEW_USER..."
sqlplus -s / as sysdba <<EOF
CREATE USER $NEW_USER IDENTIFIED BY "$NEW_PASSWORD";
GRANT CONNECT, RESOURCE, DBA TO $NEW_USER;
EXIT;
EOF

# grant privileges to existing users
EXISTING_USERS=(user1 user2 user3)
PRIVILEGES=(SELECT INSERT UPDATE DELETE)
echo "Granting privileges to existing users..."
for user in "${EXISTING_USERS[@]}"; do
  for priv in "${PRIVILEGES[@]}"; do
    sqlplus -s / as sysdba <<EOF
GRANT $priv ON schema1.table1 TO $user;
GRANT $priv ON schema1.table2 TO $user;
GRANT $priv ON schema1.table3 TO $user;
EXIT;
EOF
  done
done

echo "Oracle database management tasks completed successfully."

在上述示例中：

  • 我们使用 expdp 和 impdp 命令从源数据库中导出表的数据，并将其导入到目标数据库中。
  • 我们创建了一个新的用户并为其授予连接和 DBA 权限，然后将 SELECT、INSERT、UPDATE 和 DELETE 权限授予现有用户。

根据需要修改脚本来适应您自己的环境和需求。例如，更改变量以适应您的数据库名称、用户名、密码等，修改数据迁移的表列表，添加其他用户管理和权限分配任务等。

请注意，在运行此脚本之前，请务必备份系统和数据。同时确保当前用户具有足够的权限来执行所有必要操作。


http://www.kler.cn/a/2117.html

相关文章：

  • Tomcat部署war包项目解决404问题
  • [JavaScript] 我该怎么去写一个canvas游戏
  • datasets 笔记:加载数据集（基本操作）
  • 合并比对学习资料
  • Django 提供的会话（Session）相关的设置说明
  • 2024年华为OD机试真题-字符串分割-C++-OD统一考试（E卷）
  • 【python进阶】你还在使用for循环新建数组？生成器表达式帮你一行解决
  • 文心一言 vs. GPT-4 —— 全面横向比较
  • 一、基础算法3：二分 模板题+算法模板（数的范围，数的三次方根）
  • 【网络】网络层协议——IP
  • MYSQL常用命令大全
  • 前后台程序的嵌入式时间转轮算法
  • 图片怎么做成GIF动态图？分享两种可以实现的方法
  • ​申请专利需要具备什么条件
  • 【C++】初识模板
  • 上海人工智能企业CIMCAI世界第一完成两百万次AI验箱上亿次箱识别，成熟AI产品运行超7百万小时智慧港航智能化上海人工智能企业
  • js数组方法（大全）
  • 【Linux入门篇】操作系统安装、网络配置
  • QT搭建MQTT开发环境
  • 【数据结构】Java实现双向链表
  • 个人小站折腾后记
  • Linux命令---设备管理
  • 太强了，英伟达面对ChatGPT还有这一招...
  • 文心一言实际测试——让我们拿实际说好坏
  • QT 如何提高 Qt Creator 的编译速度
  • 【十二天学java】day04-流程控制语句