当前位置：首页 > article >正文

使用Koa2快速搭建一个爬虫项目

article 2025/3/19 22:31:06

使用 Koa2 搭建爬虫项目，可以结合其异步处理能力和中间件机制，快速构建一个灵活的爬虫服务。以下是具体实现步骤和代码示例：

一、技术选型

工具	用途
Koa2	提供 Web 服务基础架构
axios	发送 HTTP 请求获取网页内容
cheerio	解析 HTML（类似 jQuery 语法）
node-schedule	定时任务调度
MongoDB	存储爬取数据（可选）

二、实现步骤

1. 初始化项目

mkdir koa-crawler && cd koa-crawler
npm init -y
npm install koa @koa/router axios cheerio node-schedule

2. 创建 Koa2 基础服务

// app.js
const Koa = require('koa');
const Router = require('@koa/router');

const app = new Koa();
const router = new Router();

// 基础路由测试
router.get('/', (ctx) => {
  ctx.body = 'Koa2 Crawler Running!';
});

app.use(router.routes());
app.listen(3000, () => {
  console.log('Server running on http://localhost:3000');
});

3. 编写爬虫核心逻辑

// crawler.js
const axios = require('axios');
const cheerio = require('cheerio');

// 示例：爬取豆瓣电影 Top250
async function fetchDoubanMovies() {
  try {
    const url = 'https://movie.douban.com/top250';
    const { data } = await axios.get(url, {
      headers: {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
      }
    });

    const $ = cheerio.load(data);
    const movies = [];

    $('.item').each((index, element) => {
      const title = $(element).find('.title').text();
      const rating = $(element).find('.rating_num').text();
      movies.push({ title, rating });
    });

    return movies;
  } catch (error) {
    console.error('爬取失败:', error.message);
    return [];
  }
}

module.exports = { fetchDoubanMovies };

4. 将爬虫接入 Koa2 路由

// 修改 app.js
const { fetchDoubanMovies } = require('./crawler');

// 添加爬虫接口路由
router.get('/movies', async (ctx) => {
  const movies = await fetchDoubanMovies();
  ctx.body = {
    code: 200,
    data: movies
  };
});

5. 添加定时任务（可选）

// schedule.js
const schedule = require('node-schedule');
const { fetchDoubanMovies } = require('./crawler');

// 每天凌晨 2 点执行爬虫
schedule.scheduleJob('0 2 * * *', async () => {
  console.log('开始定时爬取...');
  const movies = await fetchDoubanMovies();
  // 此处可添加存储逻辑（如写入 MongoDB）
  console.log(`爬取完成，共获取 ${movies.length} 条数据`);
});

在 app.js 中引入定时任务：

// app.js 顶部添加
require('./schedule');

6. 运行项目

node app.js

访问 http://localhost:3000/movies 即可获取爬取结果。

三、高级优化

反爬策略：
- 随机 User-Agent：使用 random-useragent 库
- 代理 IP 池：结合第三方服务（如快代理）
- 请求延迟：使用 setTimeout 控制请求频率

数据存储：

// 使用 Mongoose 存储到 MongoDB
const mongoose = require('mongoose');
mongoose.connect('mongodb://localhost:27017/crawler');

const movieSchema = new mongoose.Schema({
  title: String,
  rating: String
});

const Movie = mongoose.model('Movie', movieSchema);

// 在爬虫函数中保存数据
await Movie.insertMany(movies);

错误重试：

// 使用 retry 库实现请求重试
const retry = require('retry');

function fetchWithRetry(url, retries = 3) {
  return new Promise((resolve, reject) => {
    const operation = retry.operation({ retries });
    operation.attempt(async () => {
      try {
        const { data } = await axios.get(url);
        resolve(data);
      } catch (error) {
        if (operation.retry(error)) return;
        reject(error);
      }
    });
  });
}

四、完整项目结构

koa-crawler/
├── app.js          # Koa 主入口
├── crawler.js      # 爬虫核心逻辑
├── schedule.js     # 定时任务
├── models/         # MongoDB 数据模型
└── utils/
    └── proxy.js    # 代理 IP 管理