python爬虫指南——初学者避坑篇

Python爬虫初学者学习指南

一、学习方向

1. Python基础：掌握Python基础语法、文件处理、正则表达式（re模块）和数据处理（Pandas库）。
2. HTTP与HTML解析基础：理解HTTP协议和HTML结构，学习请求库（Requests）和解析库（BeautifulSoup）。
3. 动态页面处理：学习如何使用Selenium处理JavaScript动态加载内容。
4. 反爬虫机制及应对方法：了解常见反爬虫机制，学习代理设置、请求头伪装、IP池等应对方法。
5. 数据存储：学习如何将爬取的数据存储到CSV、JSON、数据库中，熟悉Pandas、SQLite等数据处理和存储工具。
6. 实战案例：完成一些经典爬虫项目，如商品价格爬取、评论分析等，强化综合应用能力。

二、Python爬虫知识点总结

三、具体知识点详解和实现步骤

1. HTTP请求和HTML解析

通过 Requests 和 BeautifulSoup 库发送请求并解析内容。

import requests
from bs4 import BeautifulSoup

# 获取页面内容
url = "https://example.com"
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36'
}
response = requests.get(url, headers=headers)

# 解析HTML内容
soup = BeautifulSoup(response.text, 'html.parser')
title = soup.find('title').text  # 提取页面标题
print("页面标题:", title)

2. 正则表达式提取数据

使用正则表达式从HTML或文本中提取数据，适用于格式固定的数据。

import re

html = "<div><p>价格: ￥100</p></div>"
price = re.findall(r"￥(\d+)", html)
print("价格:", price[0])

3. 动态内容爬取

处理JavaScript加载的内容，可以使用Selenium模拟浏览器行为。

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
import time

# 设置Selenium驱动
service = Service("chromedriver_path")  # 替换为Chromedriver路径
driver = webdriver.Chrome(service=service)
driver.get("https://example.com")

# 等待页面加载
time.sleep(3)
content = driver.find_element(By.CLASS_NAME, "target-class").text  # 获取内容
print("页面内容:", content)

# 关闭浏览器
driver.quit()

4. 数据存储

爬取的数据可以存储为CSV、JSON文件，或保存到数据库中。

• 存储为CSV文件：

import pandas as pd

data = [{"Title": "Example", "Price": "100"}]
df = pd.DataFrame(data)
df.to_csv("output.csv", index=False)

• 存储为JSON文件：

import json

data = [{"Title": "Example", "Price": "100"}]
with open("output.json", "w") as f:
    json.dump(data, f)

• 存储到SQLite数据库：

import sqlite3

connection = sqlite3.connect('example.db')
cursor = connection.cursor()
cursor.execute('''CREATE TABLE IF NOT EXISTS Products (Title TEXT, Price TEXT)''')
cursor.execute("INSERT INTO Products VALUES (?, ?)", ("Example", "100"))
connection.commit()
connection.close()

5. 反爬虫应对措施

常见反爬虫措施及对应的应对方案。

四、完整案例：爬取京东商品信息

通过以下案例将知识点进行综合运用，爬取京东指定商品的价格、名称及评价数。

1. 导入库和设置基本信息

import requests
from bs4 import BeautifulSoup
import pandas as pd
import time

# 基础设置
url = "https://search.jd.com/Search?keyword=python书籍&enc=utf-8"
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36'
}

2. 获取网页内容

response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')

3. 解析数据

products = []
for item in soup.select(".gl-item"):
    title = item.select_one(".p-name em").text.strip()
    price = item.select_one(".p-price i").text.strip()
    comment = item.select_one(".p-commit a").text.strip()
    products.append({"Title": title, "Price": price, "Comment": comment})

4. 保存数据到CSV

df = pd.DataFrame(products)
df.to_csv("jd_products.csv", index=False, encoding='utf-8')
print("数据已保存到jd_products.csv")

5. 结果展示

结果文件jd_products.csv将包含商品标题、价格和评论数等信息。

示例数据结构（CSV文件）

五、常见学习资源

• Python网络爬虫：官方文档
• BeautifulSoup使用指南：官方文档
• Selenium浏览器自动化：官方文档
• Scrapy爬虫框架：Scrapy