当前位置：首页 > article >正文

Apache请求日志采集

article 2024/10/24 7:57:30

Apache 请求日志记录了服务器接收到的 HTTP 请求的详细信息，用于监控、分析和调试。日志中包括诸如请求的来源 IP 地址、请求方法、响应状态码、处理时间等信息。

日志的作用：

监控与调试：日志可以帮助系统管理员监控服务器的运行状态，快速定位并解决请求失败或错误的问题。
性能优化：通过分析请求的处理时间和响应大小，可以识别出性能瓶颈，进而优化服务器配置和资源分配。
安全分析：日志可以用于检测异常访问模式和潜在的攻击活动，例如频繁的404错误、异常的请求方法或大量的请求来自同一IP地址。
用户行为分析：通过跟踪用户的访问模式和行为，可以对网站内容和用户体验进行优化，提高用户满意度。
访问统计：日志数据可以用来生成访问统计报告，了解网站的访问量、访问者的地理分布、最受欢迎的页面等信息。
合规性和审计：在需要符合特定法规或标准的情况下，日志可以作为审计的证据，证明系统的使用和访问符合规定。
个性化推荐：分析用户的访问习惯和偏好，可以为用户提供个性化的内容推荐。

触发条件：

所有 HTTP 请求：每次客户端向服务器发出请求，都会在日志中生成一条记录。
特定事件或条件：可以通过自定义配置记录特定的请求或事件，如错误状态码或特定的请求方法。

1.配置请求日志

1.1 日志来源

默认日志路径：Apache 的默认访问日志通常位于 /var/log/apache2/access.log（Debian/Ubuntu 系统）或 /etc/httpd/logs/access_log（CentOS/RHEL 系统）。
默认配置文件路径：Apache 的主配置文件通常位于 /etc/apache2/apache2.conf（Debian/Ubuntu 系统）或 /etc/httpd/conf/httpd.conf（CentOS/RHEL 系统）。

1.2修改日志路径和格式

在 Apache 中，可以通过修改配置文件来设置自定义日志格式和日志文件路径。

示例配置：

主配置文件 /etc/apache2/apache2.conf 或 /etc/httpd/conf/httpd.conf：

apache

# 设置自定义日志格式

LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\" %{X-Forwarded-For}i" combined_with_all_vars

# 应用自定义日志格式到默认日志文件

CustomLog "/var/log/apache2/access.log" combined_with_all_vars

虚拟主机配置 在 /etc/apache2/sites-available/example.com.conf 或其他虚拟主机文件中：

apache

ServerName example.com

DocumentRoot "/var/www/example.com"

# 为虚拟主机设置自定义日志文件和格式

CustomLog "/var/log/apache2/example_access.log" combined_with_all_vars

</VirtualHost>

1.3 配置测试和重载

测试配置：

使用以下命令测试 Apache 配置文件是否有语法错误：

sudo apachectl configtest

# 或者

sudo httpd -t

1.4 重载重启配置

若无错误，使用以下命令重载 Apache 以应用配置更改：

sudo systemctl reload apache2

如果需要，使用以下命令重启 Apache：

sudo systemctl restart apache2

1.5 字段参考

	Apache 字段	命名	示例值	中文解释	正则表达式
1	%a	remote_addr	192.168.0.1	请求的客户端 IP 地址	\b(?:[0-9]{1,3}.){3}[0-9]{1,3}\b
2	%{c}a	real_ip	10.0.0.1	连接的底层对等 IP 地址（代理下的最初发起请求的IP）	\b(?:[0-9]{1,3}.){3}[0-9]{1,3}\b
3	%A	server_addr	127.0.0.1	本地 IP 地址	\b(?:[0-9]{1,3}.){3}[0-9]{1,3}\b
4	%B/%b	body_bytes_sent	2048	响应大小，不包括 HTTP 标头	\d+
5	%{VARNAME}C	cookie_VARNAME	cookie1=value1; cookie2=value2	请求中 Cookie 的内容	[A-Za-z0-9_]+(?:=[^\s;]+)?(?:\\s;\\s[A-Za-z0-9_]+(?:=[^\s;]+)?)*
6	%D	request_time_microseconds	123456	处理请求所花费的时间（微秒）	\d+
7	%{VARNAME}e	env_VARNAME	VARNAME=value	环境变量的内容	[A-Za-z0-9_]+(?:=[^\s]+)?
8	%f	filename	/path/to/file	文件名	.+
9	%h	remote_host	Example Domain	远程主机名	[a-zA-Z0-9.-]+.[a-zA-Z]{2,}
10	%{c}h	real_host	www.realexample.com	底层 TCP 连接的主机名	[a-zA-Z0-9.-]+.[a-zA-Z]{2,}
11	%H	request_protocol	HTTP/1.1	请求协议	HTTP/\d.\d
12	%{VARNAME}i	http_VARNAME	User-Agent: Mozilla/5.0	请求头内容	[A-Za-z0-9_-]+:\s[^\s]+
13	%k	keepalive_requests	0	Keepalive 请求数	0
15	%L	request_id	[0-9a-fA-F]{8}-[0-9a-fA-F]{4}-[0-9a-fA-F]{4}-[0-9a-fA-F]{4}-[0-9a-fA-F]{12}	错误日志中的请求日志 ID
16	%m	request_method	GET	请求方法	[A-Z]+
18	%{VARNAME}o	response_header_VARNAME	Content-Type: text/html	响应头内容	[A-Za-z0-9_-]+:\s[^\s]+
19	%p	server_port	80	服务器端口	\d+
20	%P	process_id	1234	子进程 ID	\d+
21	%q	query_string	arg1=val1&arg2=val2	查询字符串	.+?
22	%r	request_line	GET /index.html HTTP/1.1	第一行请求	[A-Z]+\s/.+\sHTTP/\d.\d
23	%R	handler	directory	生成响应的处理程序	[a-zA-Z0-9_]+
24	%s	status	200	状态码	\d{3}
25	%t	time_local	[09/Apr/2023:12:00:00 +0000]	收到请求的时间	(?:\d1,2/[A−Za−z]3/\d4:\d2:\d2:\d2\+\d4)(?:\d1,2/[A−Za−z]3/\d4:\d2:\d2:\d2\+\d4)
26	%{format}t	time_format	2023-04-09 12:00:00	时间（自定义格式）	\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}
27	%T	request_time	0.123	处理请求所花费的时间（秒）	\d+.\d{3}
28	%{UNIT}T	request_time_UNIT	123ms	以不同单位表示的处理请求时间	\d+[a-z]+
29	%u	remote_user	username	远程用户	[a-zA-Z0-9_-]+
30	%U	request_uri	/index.html	请求的 URL 路径	.+
31	%v	server_name	server.example.com	服务器规范名称	[a-zA-Z0-9.-]+.[a-zA-Z]{2,}
32	%V	host	Example Domain	根据设置的服务器名称	[a-zA-Z0-9.-]+.[a-zA-Z]{2,}
33	%X	connection_status	+	连接状态	[+-]
34	%I	received_bytes	1500	接收的字节数	\d+
35	%O	sent_bytes	1024	发送的字节数	\d+
36	%S	bytes_transferred	3000	传输的字节数	\d+

默认配置日志通常包括 CLF（通用日志格式）和扩展格式。带虚拟主机的通用日志格式和 NCSA 扩展/组合日志格式也常见于不同的配置。

日志采集概述

2.1 access日志格式样例

172.16.100.2 - - [19/Aug/2024:10:31:34 +0800] "GET /zabbix/zabbix.php?action=dashboard.list HTTP/1.1" 200 10258 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0"

这条Apache日志记录了在2024年8月19日上午10点31分34秒，一个来自IP地址172.16.100.2的客户端使用Chrome浏览器（版本127.0.0.0）成功访问了服务器上的 /zabbix/zabbix.php 页面，请求了仪表板列表，并接收到了10258字节的响应数据。

日志字段解释：客户端IP地址： 172.16.100.2 ，发起请求的客户端的IP地址。2. 身份验证和授权： - - ，表示请求没有特定的用户身份验证或授权信息。3. 时间戳： [19/Aug/2024:10:31:34 +0800] ，请求发生的具体时间，包括日期、时间以及时区。4. 请求行： "GET /zabbix/zabbix.php?action=dashboard.list HTTP/1.1" ，包括：请求方法： GET ，表示请求类型为获取。请求资源： /zabbix/zabbix.php?action=dashboard.list ，请求的URL，包括查询参数 action=dashboard.list 。HTTP协议版本： HTTP/1.1 。5. 状态码： 200 ，表示请求成功，服务器正常响应。6. 内容大小： 10258 ，响应内容的字节数。7. 引用页： "-" ，表示没有引用页或该信息未提供。8. 用户代理： "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0" ，客户端浏览器的详细信息，包括浏览器类型、操作系统、浏览器版本等。

2.1 access日志采集方式

Vector配置

2.3 access日志格式样例解析结果

{  
"remote_host": "172.16.100.2",
  "authentication_info": "-", 
   "timestamp": "19/Aug/2024:10:31:34 +0800", 
    "request_line": {    
    "method": "GET",  
      "resource": "/zabbix/zabbix.php",    
      "query_string": "action=dashboard.list",    
      "http_version": "HTTP/1.1" 
       }, 
        "status_code": 200, 
         "content_length": 10258,  
         "referrer": "-", 
          "user_agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0"
          }