python【反爬、xpath解析器、代理ip】
反爬、xpath解析器、代理ip
1.自动登录
1） requests自动登录
步骤：
第一步：人工对需要自动登录网页进行登录
第二步：获取这个网站登录后的cookie信息
第三步：发送请求的时候在请求中添加cookie值
#登录知乎
import requests
headers = {
'cookie':'_xsrf=p6x9UwvzRn32qWVoFyBaD4XEA8AGIEa3; _zap=19602ad1-626f-420a-ae86-9426c03f1721; Hm_lvt_98beee57fd2ef70ccdd5ca52b9740c49=1680319020; d_c0=ANBXognIjhaPTuFh6al-dhqCYaAaJS5kG08=|1680319019; gdxidpyhxdE=mLGLh6nWCUlW%2BkWJRMSOlbPgwJwEkGKvoLB%5CDwA88f1Gase4JRiL%5CNAO%2FwCKYTX51eDsxeCJTqGdqu4V2u3xOheyUMK2WIR8w%2Fqz0%2F3T9hU0NEkMGQeod60kUS8DuoOtAxu3U%2B%2Bur8%2Br%5CkmyJ5a6vbsZWmm8x6W%2BLIuMNWUV5Wol6eT3%3A1680319921123; YD00517437729195%3AWM_NI=Gk2NR%2Bvd2a7H5U28K9kTmYZGcGxv4i9vNkxHRdLwZzYjtebbmFCRe%2Fv%2BoIS1Yq07y5EJl9Rag0chkvLE1QyRbQeMfdVbvwnD0RviO%2F7yZq4B%2FlmL7Z1Ga4dqumsvVWwEOVk%3D; YD00517437729195%3AWM_NIKE=9ca17ae2e6ffcda170e2e6eebac54ab2f5a4a3bc4181b48ba3c55e839f8fb0d85cf4aa97daeb46f5aabba8f42af0fea7c3b92a85b5feafd121b6bcfe82b644f78bfed9ca33a98ca3bad94da199b897b763fbaa828cfb4492bc8498d9729bb6bc86e16aaf9a8db3e825b6f5a1aad23b9baf00d8fc3f8796a4dad16ba5f0ad89ea7e909bffb2fc5aa28fabaee57096beba98ed50f48eba8ace25f5a79692b74aedb4a3adb652f399afd5e77bb7b3bd97d55db59b81b7ea37e2a3; YD00517437729195%3AWM_TID=d8d4rn39BaFEFVBVFQKEKh6cplJ77qDq; Hm_lpvt_98beee57fd2ef70ccdd5ca52b9740c49=1680319035; captcha_session_v2=2|1:0|10:1680319034|18:captcha_session_v2|88:YXUydDJKQ1hyTWZ4SVlQeDNKQko4eTlQS2hBV210Q2I3MEEvaVh6TkhaNGNwTC9vc3ZVbXNrV05mUkR4UmdQbQ==|41309f72b1a177584d79526caefa60a33597e3e5623ef7f86eb98d82d937da5d; __snaker__id=Mbfbw4MqXaiZJqmI; captcha_ticket_v2=2|1:0|10:1680319288|17:captcha_ticket_v2|704:eyJ2YWxpZGF0ZSI6IkNOMzFfMTZSdVNwY0FwbDZMejVJSllWclVUU0J6eTgtRnVadENKc1Itay0wZEI1X2I2RlVmLXBEOXFudHF6RUJnNXUyMmN2Ny0xemdfNWVNaHVKaG9Va1ZCS0lDY2NldVM1cm5tUFBWaWwwZGtYOG5iNXN0c2UtT1NjRk9hd3lZN2hUZXQ2NkZweXdkcElPdXlxek5rQkc4Lm4xZFYwMDdQX29BRW44aWFpT3dJaW1XMTFsbDlCbjllUHZnc3RaeEM0ZUM2WUpES0R0dUpxLlNjNVBncGV2bGpqaHB5Z3FsZWR2cXd4cDBGUjdWZjJROU1rNXVDMDJCMTJPVEVsS0dJWUE2QUF1bVJ1VkVneTlmeEdmdDZ1dzZVV0tjaDRZWWt0LWloNzg3aEtYVkUyaHVLcHJ5TE04TkU4U1VDV21Sd2pLTDRZaXFwTlE4MjJvMHdmdzBBMDJWLnBILU50TnNyS3cudGJwYlkyWlhhbDI1MktZdEpNMVp0bWJTMW9MeFJGWDFjaUFSUHlpRi5vVU1tdHQ0ZUxzMURzUUdTTmJsSFZrbFJWRmRQWEhxbnktZU8ycGhubTRWaS5PaWhqMm51bng5WWdKVFNMRGQtbC5sQTV6d1ZZUDgwTlZWc3hSTW1LY3N5UmotOHpmUWw4cVhjbUp4akhiZmJIYi1fSnZpMyJ9|31c79c4cf61774a15336dbd47264e24052e90e278c7b7ad326a7f771283e2674; z_c0=2|1:0|10:1680319303|4:z_c0|92:Mi4xNFRCVEN3QUFBQUFBMEZlaUNjaU9GaVlBQUFCZ0FsVk5SX0VVWlFBYlBJY1djM1g4enhnQm9RTHE4NjlJcGJnaTFn|d67d02d7c6c6adbb7386ef1e5112961db215d79ee7f9c5b7dcbda1922dbcdb20; q_c1=3557e163dacf470885650132315f9a99|1680319303000|1680319303000; tst=r; KLBRSID=2177cbf908056c6654e972f5ddc96dc2|1680319315|1680319018'
,
"user-agent":'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36'}
response = requests.get('https://www.zhihu.com/signin?next=%2F')
print(response.text)
2）selenium获取cookie
# 淘宝自动登录
from selenium.webdriver import Chrome
# 1.创建浏览器打开需要自动登录的网站
b = Chrome()
b.get('https://www.taobao.com')
# 2.留足够长的时候，人工完成登录（必须得保证b指向的窗口的网页中能看到登录以后的信息）
input('是否已经完成登录:')
# 3.获取登录成功后的cookie信息，保存到本地文件
result = b.get_cookies()
# print(result)
# 4.保存cookie到文件
with open('files/淘宝cookie.txt', 'w', encoding='utf-8', newline='') as f:
f.write(str(result))
print('___________结束__________')
3) 使用selenuim获取得到的cookie
from selenium.webdriver import Chrome
# 1.创建浏览器打开需要自动登录的网站
b = Chrome()
b.get('https://www.taobao.com')
# 2.获取本地爆存的cookie
with open('files/淘宝cookie.txt', encoding='utf-8') as f:
result = eval(f.read())
# 3.添加cookie
for x in result:
b.add_cookie(x)
# 4.重新打开网页
b.get('https://www.taobao.com')
input('end:')
2.代理ip
处理已经被封了的ip地址，代理ip是用的极光ip，百度搜索就有了，买一个就可以操作了
1）requests代理
import requests
headers = {
'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36'
}
# 在这里我使用的是代理ip
proxies = {
'https': '114.238.85.97:4515'
}
# 使用代理ip发送请求
res = requests.get('https://movie.douban.com/top250?start=0&filter=', headers=headers, proxies=proxies)
print(res.text)
2）selenium代理
from selenium.webdriver import Chrome,ChromeOptions
options = ChromeOptions()
# 设置代理
options.add_argument('--proxy-server=http://114.238.85.97:4515')
b=Chrome(options=options)
b.get('https://movie.douban.com/top250?start=0&filter=')
input()
3.xpath解析器
import json可以将json数据直接转换成python数据
xpath是用来解析网页数据或者xml数据的一种解析方法，他是通过路径来获取标签（元素）
python数据；{‘name’:‘lily’,‘age’:18,‘is_ad’:‘True’}
json数据：{‘name’:lily,‘age’:18,‘is_ad’:true,‘car’:null}
xml数据：
lily
18
<is_ad>是</is_ad>
<car_no></car_no>
1)常见的几个概念
树：整个网页结构和xlml结构就是一个树结构
元素（节点）：html树结构的每个标签
根节点：树结构中的第一个节点
内容：标签内容
属性：标签属性
2) xpath语法
1.获取标签
1）绝对路径：以/开头，从根节点开始层层往下写路径
2）相对路径：写路径的时候用’.‘或者’..‘开头，其中’.‘表示当前节点；’..‘表示当前节点的父节点
注意：如果路径以./开头，./可以省略
3）全路径：
2.获取标签内容
在获取标签的路径的最后加’/text()‘
3.获取标签属性
在获取标签的路径的最后加’/@属性名‘
4.案例
首先导入包
from lxml import etree
1.创建树结构，获取根节点
html = open('data.html', encoding='utf-8').read()
root = etree.HTML(html)
2.通过路径获取标签
节点对象.xpath(路径) —— 根据路径获取所有的标签，返回值是列表，列表中的元素是节点对象
1） 绝对路径
result = root.xpath('/html/body/div/a')
print(result)
2)获取标签内容
result = root.xpath('/html/body/div/a/text()')
print(result)
3) 获取标签属性
result = root.xpath('/html/body/div/a/@href')
print(result)
4)绝对路径的写法跟xpath前面用谁去点的无关
div = root.xpath('/html/body/div')[0]
result = div.xpath('/html/body/div/a/text()')
print(result)
5)相对路径
result = root.xpath('./body/div/a/text()')
print(result)
result = div.xpath('a/text()')
print(result)
6)全路径
result = root.xpath('//a/text()')
print(result)
result = root.xpath('//div/a/text()')
print(result)
3.加谓语（加条件）—— 路径中的节点[]
1）位置相关谓语
[N] —— 第N个指定标签
[last()] —— 最后一个指定标签
[last()-N] —— 获取倒数指定标签
[position()>N]、[position()>=N]、[position()<N]、[position()<=N]、假如总共有5个，N=3，那就获取第4和第5个
result = root.xpath('//span/p[2]/text()')
print(result)
2) 获取p标签最后一个标签
result = root.xpath('//span/p[last()]/text()')
print(result)
result = root.xpath('//span/p[position()>2]/text()')
print(result)
3）属性相关谓语
[@属性名=属性值]
result = root.xpath('//span/p[@id="p1"]/text()')
print(result)
result = root.xpath('//span/p[@class="c1"]/text()')
print(result)
result = root.xpath('//span/p[@data="5"]/text()')
print(result)
4.通配符
在xpath中可以通过*表示任意标签或者任意属性
result = root.xpath('//span/*/text()')
print(result)
result = root.xpath('//span/*[@class="c1"]/text()')
print(result)
result = root.xpath('//span/span/@*')
print(result)
将整个网页的所有的class=c1的标签全部取到
result = root.xpath('//*[@class="c1"]/text()')
print(result)
3）案例：
成都链家二手房数据
1.分行政区爬取所需信息。
2.确定信息所在位置（ul > li）
3.确定使用的方法：requests > selenium
4.确定使用的解析器：正则表达式 > xpath > bs4
5.确定网站反扒机制，根据对应机制采取对应措施(反反爬虫)
6.爬取单页信息
7.根据网站规则爬取多页信息
8.数据持久化（将数据保存：表格、数据库......）
import requests
from bs4 import BeautifulSoup
import json
import csv
from tqdm import tqdm
import os
# 创建请求函数
def get_requests(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.30'
}
resp = requests.get(url=url, headers=headers)
if resp.status_code == 200:
soup = BeautifulSoup(resp.text, 'lxml')
return soup
else:
print(resp.status_code)
# 获取行政区名和链接的函数
def country(html_code):
# 获取行政区所在a标签
a_list = html_code.select(
'body > div:nth-child(12) > div > div.position > dl:nth-child(2) > dd > div:nth-child(1) > div > a')
# print(a_list)
dict_1 = {}
for i in a_list:
# 行政区名
name = i.text
# 链接
href = 'https://cd.lianjia.com' + i.attrs['href']
# print(name, href)
dict_1[name] = href
return dict_1
# 获取每个行政区二手房总页数
def get_page_num(html_code):
page_dict = html_code.select_one(
'#content > div.leftContent > div.contentBottom.clear > div.page-box.fr > div').attrs['page-data']
# print(page_dict)
# 将字符串类型的字典转回字典，并且将总页数提取出来
num = json.loads(page_dict)['totalPage']
return num
# 创建主函数
def main(url):
# 请求链家二手房链接
code_1 = get_requests(url)
# print(code_1)
# 调用获取country()函数
country_dict = country(code_1)
# print(country_dict)
for key, value in country_dict.items():
# print(key, value)
# 请求行政区链接
code_2 = get_requests(value)
# print(code_2)
# 调用get_page_num函数
total_page = get_page_num(code_2)
# print(total_page)
# 数据持久化
f = open(f'数据/成都{key}二手房信息.csv', 'w', encoding='utf-8', newline='')
# 创建CSV写方法
mywrite = csv.writer(f)
# 列名
col_name = ['行政区', '标题', '小区', '街道', '户型', '面积', '装修', '单价', '总价']
mywrite.writerow(col_name)
for i in tqdm(range(1, total_page + 1), desc=key):
# 拼接有页数的链接
new_href = value + f'pg{i}/'
# print(new_href)
html_code = get_requests(new_href)
li_list = html_code.select('#content > div.leftContent > ul > li > div.info.clear')
# print(li_list, len(li_list))
for i in li_list:
# print(i)
# 房屋标题
title = i.select_one('div.info.clear > div.title > a').text
# 地址
address_1 = i.select_one('div.info.clear > div.flood > div > a:nth-child(2)').text
address_2 = i.select_one('div.info.clear > div.flood > div > a:nth-child(3)').text
# 基本信息
info = i.select_one('div.info.clear > div.address > div').text
info_list = info.split('|')
# 户型
type = info_list[0].strip()
# 面积
area = info_list[1].strip()
# 装修
decorate = info_list[3].strip()
# 单价
unit_price = i.select_one('div.info.clear > div.priceInfo > div.unitPrice > span').text
# 总价
total_price = i.select_one('div.info.clear > div.priceInfo > div.totalPrice.totalPrice2 > span').text
# print(key, title, address_1, address_2, type, area, decorate, unit_price, total_price)
data = [key, title, address_1, address_2, type, area, decorate, unit_price, total_price]
mywrite.writerow(data)
f.close()
# 程序从此处开始执行
URL = 'https://cd.lianjia.com/ershoufang/rs/'
# 判断数据文件夹是否存在
if os.path.exists('数据'):
main(URL)
else:
os.mkdir('数据')
main(URL)