当前位置：首页 > article >正文

使用 Puppeteer 绕过 Captcha：实现商家数据自动化采集

article 2024/11/26 10:49:41

背景/引言

大众点评作为中国领先的本地生活服务平台，不仅是消费者获取商家信息和用户评价的重要工具，同时也是商家推广的关键渠道。通过优质的内容呈现和精准的用户推荐，大众点评能够为商家带来显著的流量提升和品牌曝光，成为商业竞争中不可忽视的资源。

对于技术从业者，采集大众点评的商家数据可以用于市场动态研究、用户行为分析以及商家推广策略制定。然而，大众点评的控制机制（如 Captcha 验证）使自动化采集变得困难重重。为应对这些挑战，本文将介绍如何使用 Puppeteer，通过代理 IP、用户伪装等技术，轻松绕过 Captcha，实现对商家信息的高效采集。

技术实现

1. 工具与技术概述

Puppeteer：一个强大的无头浏览器自动化工具，支持模拟用户操作，轻松处理动态页面和复杂交互。
代理 IP：通过隐藏真实 IP，规避访问限制，提升爬虫稳定性。
用户伪装技术：通过设置 User-Agent 和 Cookies 模拟真实用户行为，降低被识别的风险。

2. 关键步骤

配置 Puppeteer 和代理 IP。
设置用户伪装参数（User-Agent 和 Cookie）。
模拟人类操作（滚动、延迟访问等），避免触发 Captcha。
提取目标页面的商家信息数据。

实例代码

以下是完整实现代码，以采集大众点评商家信息为例，结合爬虫代理实现稳定的网络访问。

const puppeteer = require('puppeteer');

// 代理信息配置（以亿牛云爬虫代理为例 www.16yun.cn）
const proxyConfig = {
    host: 'proxy.16yun.cn', // 代理服务器地址
    port: '12345',              // 代理端口号
    username: 'your_username',  // 代理用户名
    password: 'your_password'   // 代理密码
};

// 目标 URL
const targetUrl = 'https://www.dianping.com/search/keyword/1/0_商家关键字';

(async () => {
    // 启动 Puppeteer，配置代理
    const browser = await puppeteer.launch({
        headless: false, // 设置为 false 以便调试
        args: [`--proxy-server=${proxyConfig.host}:${proxyConfig.port}`] // 配置代理服务器
    });

    const page = await browser.newPage();

    // 设置用户代理（User-Agent）
    await page.setUserAgent(
        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'
    );

    // 设置 Cookie（可从浏览器中登录后提取有效的 Cookie）
    const cookies = [
        {
            name: 'cookieName',
            value: 'cookieValue',
            domain: '.dianping.com'
        }
    ];
    await page.setCookie(...cookies);

    // 配置 HTTP Basic Auth 代理认证
    await page.authenticate({
        username: proxyConfig.username,
        password: proxyConfig.password
    });

    // 访问目标 URL
    try {
        console.log('正在访问目标页面...');
        await page.goto(targetUrl, { waitUntil: 'networkidle2' });

        // 模拟滚动，加载更多数据
        await page.evaluate(() => {
            return new Promise((resolve) => {
                let totalHeight = 0;
                const distance = 100;
                const timer = setInterval(() => {
                    const scrollHeight = document.body.scrollHeight;
                    window.scrollBy(0, distance);
                    totalHeight += distance;

                    if (totalHeight >= scrollHeight) {
                        clearInterval(timer);
                        resolve();
                    }
                }, 100);
            });
        });

        // 提取商家信息
        const data = await page.evaluate(() => {
            const result = [];
            const items = document.querySelectorAll('.shop-all-list li'); // 根据实际 DOM 调整选择器
            items.forEach(item => {
                const name = item.querySelector('.tit a')?.textContent.trim();
                const address = item.querySelector('.addr')?.textContent.trim();
                const rating = item.querySelector('.comment-list .item-rank-rst')?.getAttribute('title');
                if (name && address) {
                    result.push({ name, address, rating });
                }
            });
            return result;
        });

        console.log('采集到的数据：', data);
    } catch (error) {
        console.error('页面加载或采集时出错：', error);
    } finally {
        await browser.close();
    }
})();