爬虫一些基础知识的备忘录（需要自取）

前言

基础薄弱，或许是ai用多的缘故，记录了写爬虫需要的一些基础知识，需要自取

这里记录一些我初学爬虫的时候经常忘记的东西，包括但不限于一些文件的读写和一些其他的东西

文件读写

文件读写，如果想表达——若文件存在，就直接使用，若不存在就创建，可以这样写，避免会报一些很sb的文件不存在的错误

文件创建

if not os.path.exists("D:/这里写你的路径"):
    os.mkdir("D:/这里写你的路径")

文件读写

urlretrieve(j.get('src'),"C:/Users//Desktop/漫画/"+str(i)+"/"+str(shix)+".jpg")

这里第一个参数写目标文件下载链接，第二个就是你的path路径，比如要下载一个图片，那么就是图片路径+保存的文件夹路径+文件名，str(shix).jpg就是要保存的文件名

那么如果想爬取小说怎么办？就是上面是下载某个文件或者图片自动保存的逻辑

可以用write持续写入

    with open(f"D:/小说/三国演义/三国演义.txt", "a+", encoding='utf-8') as f:
        f.write(name + "\n")
        for p in title:
            f.write(p.text + "\n")

关于open的第二个参数，这里记录了几个常用的

读写参数

正则匹配

如果要使用正则来匹配数据的话，需要对响应回来的response进行匹配，要事先写好自己的pattern

导入re

    response = requests.post(url, headers=headers)
    print(response.text)
    pattern = r'data-original="([^"]+)"'
    matches = re.findall(pattern, response.text)

execjs的使用

result_data = execjs.compile(open('D:\project\stock_spider\spider\.js', 'r', encoding='utf-8').read()).call(('main'),data)

call里面的参数是js文件中要运行的参数，data是需要使用js文件处理的数据

soup的使用

soup解析使用前要先对响应的response做字符串处理，然后才能进入解析

res = cffi_requests.get(f"https://www.beqege.cc/2/2{i}.html", impersonate='chrome110', timeout=10, verify=False)
    res = res.text
    soup = BeautifulSoup(res, "lxml")

find方法

返回一个对象
soup.find('a')
soup.find('a', class_='xxx') # 注意class后的下划线
soup.find('a', title='xxx')
soup.find('a', id='xxx')
soup.find('a', id=compile(r'xxx'))

find_all

soup.find_all('a')
soup.find_all(['a','span']) #返回所有的a和span标签
soup.find_all('a', class_='xxx')
soup.find_all('a', id=compile(r'xxx'))
# 提取出前两个符合要求的
soup.find_all('a', limit=3)

获取文本

# 获取标签的值的三种方法
 
soup.p.string
 
soup.p.text
 
soup.p.get.text()

获取属性

# 获取p标签的属性
# 方法一
soup.p.attrs(返回字典) or soup.p.attrs['class'](class返回列表，其余属性返回字符串)
 
# 方法二
soup.p['class'](class返回列表，其余属性返回字符串)
 
# 方法三
soup.p.get('class')(class返回列表，其余属性返回字符串)

xpath

xpath是一种用于在xml文档中定位节点的语言，它可以用于从xml文档中提取数据，以及在xml文档中进行搜索和过滤操作，xpath使用路径表达式来描述节点的位置，

xpath基础使用

from lxml import etree

import requests

url = 'https://www.douguo.com/'

res = requests.get(url)

#print(res.text)
html = etree.HTML(res.text)
# /从根节点选取（取子节点）。
rest = html.xpath('/html/head/title/text()')  # 返回Element对象
title_text = html.xpath('//title/text()')#这个是选取所有title标签的text内容
attr = html.xpath('//meta/@name')#这个是选取所有meta标签的name属性值
index = html.xpath('//meta[@name="author"]')#这个是选取所有name属性值为author的meta标签
index = html.xpath('//*[@class="item"]')#这个是选取所有class属性值为item的标签
index = html.xpath('//meta[@*="keywords"]')#这个是选取所有含有keywords的meta标签
link_list=html.xpath('//*[contains(@id, "chapter-img)]/@src ')#寻找元素中id包含又chapter-img元素的标签中的src
print(rest)

selenium

使用selenium进行人工输入验证码获取cookies

def login_manually(login_url, cookies_file, browser=None):
    # 既然是手动，这里就不自动填写用户名和密码了
    if browser is None:
        browser = webdriver.Chrome()
    browser.get(login_url)
    time.sleep(30) # 给自己多了点时间输入用户名、密码、验证码
    cookies = browser.get_cookies()#直接用browser获取cookies
    print(cookies)
    save_cookies(cookies, cookies_file)

打开猿人学，上下滑动，并且打开一篇文章，搜索框搜索并回车

#coding=utf-8
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
import time

#打开Chrome浏览器
driver = webdriver.Chrome()
#浏览器最大化
driver.maximize_window()
#打开猿人学首页
driver.get('https://www.yuanrenxue.cn')
time.sleep(3)

#滑动到页面中间处
driver.execute_script("window.scrollTo(0,document.body.scrollHeight/2)")
time.sleep(3)

#滑动到页面最下方
driver.execute_script("window.scrollTo(0,document.body.scrollHeight)")
time.sleep(3)

#滑动到页面最上方
driver.execute_script("window.scrollTo(0,0)")
time.sleep(3)

#通过html的class属性来定位链接位置，并点击
driver.find_element(By.CLASS_NAME,'slide-left').click()
time.sleep(3)

#定位页面右上角的搜索图标并点击
driver.find_element(By.CLASS_NAME,'search-show').click()

#找到输入框
search = driver.find_element(By.CLASS_NAME,"search-input")
#输入 Python教程
search.send_keys(u'python教程')
time.sleep(7)
#回车
search.send_keys(Keys.RETURN)

time.sleep(5)
driver.quit()

记得一定要调用driver.quit()退出

这里直接用了sleep进行等待网站加载，但是selenium有自己的等待函数

selenium定位元素的函数

类似driver.find_element_by_class_name('search-show').click()

find_element_by_link_text(u’Python教程’)

element后面多了一个s，会以列表的形式把定位到的相同元素全部返回，你要知道你需要的元素是第几个，通过数组下标来取对应的元素。比如你要点击某个网站第三个链接，写法如下： find_elements_by_tag_name(‘a’)[2].click()

通过xpath来定位 |
| find_elements_by_link_text | 通过文字链接来定位 |

find_element_by_link_text(u’Python教程’)

element后面多了一个s，会以列表的形式把定位到的相同元素全部返回，你要知道你需要的元素是第几个，通过数组下标来取对应的元素。比如你要点击某个网站第三个链接，写法如下： find_elements_by_tag_name(‘a’)[2].click()