当前位置：首页 > article >正文

如何设置请求头模拟浏览器访问？

article 2025/1/17 18:30:12

在Python中使用requests库发送HTTP请求时，可以通过设置请求头（Headers）来模拟浏览器访问。这有助于避免被目标网站识别为爬虫而被阻止访问。以下是如何在代码示例中设置请求头的详细步骤和解释。

一、设置请求头

请求头（Headers）是HTTP请求的一部分，包含了关于请求的元数据，如客户端信息、请求来源、接受的数据类型等。通过设置合适的请求头，可以模拟不同的浏览器访问行为。

常见的请求头字段

User-Agent：标识客户端的软件版本和操作系统信息。
Accept：告知服务器客户端可接受的MIME类型。
Accept-Language：告知服务器客户端可接受的语言。
Accept-Encoding：告知服务器客户端可接受的编码方式。
Referer：告知服务器当前请求是从哪个页面链接过来的。

二、代码示例中的请求头设置

在之前的代码示例中，我们已经设置了User-Agent请求头来模拟浏览器访问。为了更全面地模拟浏览器行为，可以添加更多的请求头字段。以下是完整的示例代码：

import requests
from bs4 import BeautifulSoup
import pandas as pd

# 目标搜索URL
base_url = 'https://s.1688.com/selloffer/offer_search.htm'
keyword = '女装'
params = {
    'keywords': keyword,
    'n': 'y',
    'netType': '1',
    'spm': 'a2605.q4826858.1998416437.1'
}

# 设置请求头，模拟浏览器访问
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
    'Accept-Language': 'zh-CN,zh;q=0.8,en;q=0.6',
    'Accept-Encoding': 'gzip, deflate, sdch, br',
    'Referer': 'https://www.1688.com/'
}

# 发送GET请求
response = requests.get(base_url, params=params, headers=headers)

# 检查请求是否成功
if response.status_code == 200:
    # 解析HTML页面
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 提取商品信息
    products = []
    items = soup.find_all('div', class_='sm-offer-item')
    for item in items:
        title = item.find('a', class_='offer-title').text.strip()
        price = item.find('span', class_='price').text.strip()
        description = item.find('div', class_='desc').text.strip()
        sales = item.find('span', class_='sales').text.strip()
        
        products.append({
            '标题': title,
            '价格': price,
            '描述': description,
            '销量': sales
        })
    
    # 保存到DataFrame
    df = pd.DataFrame(products)
    df.to_csv('alibaba_search_results.csv', index=False, encoding='utf-8-sig')
    print('数据已保存到CSV文件中。')
else:
    print('请求失败，状态码:', response.status_code)

详细解释

User-Agent：这是最常用的请求头字段，用于标识客户端的软件版本和操作系统信息。通过设置一个常见的浏览器User-Agent，可以模拟浏览器访问。
Accept：告知服务器客户端可接受的MIME类型。设置为text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8，表示客户端可以接受多种类型的响应。
Accept-Language：告知服务器客户端可接受的语言。设置为zh-CN,zh;q=0.8,en;q=0.6，表示客户端优先接受中文内容，其次为英文。
Accept-Encoding：告知服务器客户端可接受的编码方式。设置为gzip, deflate, sdch, br，表示客户端支持多种压缩编码方式。
Referer：告知服务器当前请求是从哪个页面链接过来的。设置为https://www.1688.com/，表示请求是从阿里巴巴首页发起的。