HDFS开启审计日志

HDFS开启审计日志

修改 HDFS log4j.properties

修改文件大小及保留个数、日志存储目录

vim /opt/apache/hadoop/etc/hadoop/log4j.properties

hdfs.audit.logger=INFO,NullAppender
hdfs.audit.log.maxfilesize=256MB
hdfs.audit.log.maxbackupindex=20
log4j.logger.org.apache.hadoop.hdfs.server.namenode.FSNamesystem.audit=${hdfs.audit.logger}
log4j.additivity.org.apache.hadoop.hdfs.server.namenode.FSNamesystem.audit=false
log4j.appender.RFAAUDIT=org.apache.log4j.RollingFileAppender
log4j.appender.RFAAUDIT.File=${hadoop.log.dir}/hdfs-audit.log
log4j.appender.RFAAUDIT.layout=org.apache.log4j.PatternLayout
log4j.appender.RFAAUDIT.layout.ConversionPattern=%d{ISO8601} %p %c{2}: %m%n
log4j.appender.RFAAUDIT.MaxFileSize=${hdfs.audit.log.maxfilesize}
log4j.appender.RFAAUDIT.MaxBackupIndex=${hdfs.audit.log.maxbackupindex}

修改 HDFS hdfs-site.xml

https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

vim /opt/apache/hadoop/etc/hadoop/hdfs-site.xml

  <property>
    <name>dfs.namenode.audit.log.async</name>
    <value>true</value>
  </property>

修改 HDFS hadoop-env.sh

vim hadoop-env.sh

# export HDFS_NAMENODE_OPTS 追加配置项
-Dhdfs.audit.logger=${HDFS_AUDIT_LOGGER:-INFO,RFAAUDIT}

分发配置到NN节点

重启NN节点

# 先重启 SNN
hdfs --daemon stop namenode
hdfs --daemon start namenode

# 强制切换 nn2为 active状态
hdfs haadmin -failover nn1 nn2

# 再重启 SNN
hdfs --daemon stop namenode
hdfs --daemon start namenode

# 查看nn状态
hdfs haadmin -getServiceState nn1
hdfs haadmin -getServiceState nn2

评估 HDFS 审计日志大小

UAT HDFS容量：6.76T/22.59T  一天审计日志大小：2.5G；          
生产 HDFS容量：6.61P/9.09P，根据HDFS数据量评估一天审计日志大小：2.5T。