基于python爬虫：requests+BeautifulSoup+MySQL/MongoDB（或：CSV、JSON等格式的文件）+...
爬虫技术（基于python介绍）
- 应用场景
数据抓取、数据挖掘、搜索引擎优化
- http协议
通过HTTP请求来获取网页数据
- 编程语言
python - python库数据请求与解析
requests、BeautifulSoup、Scrapy等
requests（Python）：用于发送HTTP请求。
BeautifulSoup：用于解析HTML和XML文档
- 数据存储
数据库（如MySQL、MongoDB）：用于存储抓取的数据。
文件系统：将数据保存为CSV、JSON等格式的文件。
- 框架与工具
Scrapy（Python）：一个快速的高级爬虫框架。
Puppeteer（JavaScript）：Node库，提供了一个高级API来控制Chrome或Chromium。
Selenium：用于自动化Web应用程序测试的工具，也可用于爬虫。
- 日志和错误处理
记录爬虫的运行状态，处理可能出现的错误。 - 多线程和异步处理：
threading、multiprocessing（Python）：用于实现多线程爬虫。
asyncio（Python）：用于异步IO操作。
CompletableFuture（Java）：Java中的异步编程工具。
- 头信息和会话管理：
设置User-Agent、Cookies等头信息，模拟浏览器行为。
使用会话（Session）来保持连接状态。
- 反反爬虫技术：
处理JavaScript渲染的页面（如使用Selenium或Pyppeteer）。
处理CAPTCHA（验证码）。
模拟正常用户行为，如随机延迟请求。