尚硅谷爬虫note003
一、函数
1. 函数的定义
def 函数名（）：
代码
2.函数的调用
函数名（）
3. 定义参数（不调用函数不执行）
def sum（a，b） #形参
c = a + b
print（c）
#调用
sum（1，2） #实参4. 函数返回值——》结果
需要变量，接收函数返回值
def buyClothes（）：
return “短袖”
clothes = buyclothes（） #clothes变量，用来接收函数返回值
print（clothes）二、文件
1. 打开/创建文件
open（”文件路径”，“访问模式“）
不能创建文件夹
2. 关闭文件
fp.close（）
3. 文件的读写
是覆盖操作
若需追加，使用“a”模式进行访问
读：
content = fp.read（）
print（content）
一般情况下：
一个字节一个字节的读取
readline（）方法：一行一行的读取，但是只能读一行
readlines（）方法：读取多行，按列表格式返回
三、序列化、反序列化
1. 序列化：一套协议
按某种规则，把内存中的数据转为字节序列
python对象——》字节序列
2. 反序列化：
从文件字节序列恢复到内存中
字节序列——》python对象
无法将对象写入文件中。
进行序列化操作后，可写入
3. 序列化的2种方式
3-1. dumps（）
1）.创建一个文件
fp = open（“xx.txt”，“w”）
2）.定义一个列表
xx_list = 【“zs”，“ls”】
3）导入json到文件中
import json
4）序列化
将python对象转为json字符串
content = json.dumps（xx_list）
print（content）
5）将content写入文件中
fp.write（content）
fp.close（）
3-2. dump（）
将python对象转为字符串的同时，指定一个文件对象，把转换后的字符串写入到指定的文件中
3-1中1），2），3）——》
json.dump（xx_list，fp）
fp.close（）
4. 反序列化的2种方式
将json字符串转成python对象
fp = open（“xx.txt”，“r”）
content = fp.read（）
print（content）
4-1. loads（）
1）导入json
import json
2）将json字符串转成python对象
xx = json.loads（content）
3）转换后的打印
print（xx）
4-2. load（）
fp = open（“xx.txt”，“r”）
import json
xx = json.load（fp）
print（xx）
fp.close（）
四、异常
try：
可能出现异常的代码
except 异常类型：
友好的提示
try:
fp = open("111.txt","r")
fp.read()
except FileNotFoundError:
print("系统升级中...")五、反扒手段
1. user-agent
2. 代理IP
3. 验证码访问
4. 动态加载网页
5. 数据加密