当前位置：首页 > article >正文

如何通过PHP爬虫模拟表单提交，抓取隐藏数据

article 2024/11/30 17:30:04

爬虫代理

引言

在网络爬虫技术中，模拟表单提交是一项常见的任务，特别是对于需要动态请求才能获取的隐藏数据。在电商双十一、双十二等促销活动期间，商品信息的实时获取尤为重要，特别是针对不断变化的价格和库存动态。为了满足这种需求，网络爬虫技术中的模拟表单提交显得尤为关键，尤其是在需要动态请求才能获取隐藏数据的场景中。在本文中，我们将详细讲解如何使用PHP实现表单提交并抓取隐藏数据，同时结合代理IP技术，优化爬虫的稳定性和效率。本文以京东(www.jd.com)为目标，展示如何获取商品的实时名称和价格，通过完整代码和实践帮助开发者快速应对大促期间的数据采集需求。

正文

模拟表单提交的原理

网页中的隐藏数据通常需要通过表单提交或Ajax请求才能获取。这些数据可能受JS渲染、CSRF Token保护等限制。通过PHP，我们可以模拟用户的表单提交，发送正确的POST请求并接收服务器返回的结果。

准备工作

安装PHP及其cURL扩展。
获取京东的目标URL和参数。
注册一个代理IP服务，比如爬虫代理。

实现技术

我们将采用以下技术点：

使用cURL发送POST请求，模拟表单提交。
设置User-Agent和Cookie，伪装成真实用户。
使用代理IP（爬虫代理）绕过IP限制。
解析返回的HTML或JSON数据，提取所需信息。

实例：抓取京东商品名称和价格

以下是完整的PHP代码示例：

<?php
// 目标URL
$url = "https://search.jd.com/Search?keyword=手机";

// 代理配置 亿牛云爬虫代理加强版 www.16yun.cn
$proxy = "proxy.16yun.cn:9020"; // 16yun代理域名和端口
$proxy_user = "your_username"; // 代理用户名
$proxy_pass = "your_password"; // 代理密码

// 设置User-Agent和Cookie
$userAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36";
$cookie = "your_cookie_here"; // 需提前获取

// 初始化cURL
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);

// 设置代理
curl_setopt($ch, CURLOPT_PROXY, $proxy);
curl_setopt($ch, CURLOPT_PROXYUSERPWD, "$proxy_user:$proxy_pass");

// 设置HTTP头
$headers = [
    "User-Agent: $userAgent",
    "Cookie: $cookie"
];
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

// 执行请求
$response = curl_exec($ch);
$httpCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);

if ($httpCode == 200) {
    // 使用正则或DOM解析HTML
    $pattern = '/<div class="p-name".*?<em>(.*?)<\/em>/s'; // 匹配商品名称
    preg_match_all($pattern, $response, $names);

    $pattern_price = '/<strong class="J_price".*?<i>(.*?)<\/i>/s'; // 匹配商品价格
    preg_match_all($pattern_price, $response, $prices);

    // 输出结果
    foreach ($names[1] as $index => $name) {
        $price = $prices[1][$index] ?? 'N/A';
        echo "商品名称: " . strip_tags($name) . " - 价格: " . $price . "\n";
    }
} else {
    echo "请求失败，HTTP状态码: $httpCode\n";
}

// 关闭cURL
curl_close($ch);
?>