爬虫学习第五篇环境的准备工作
准备工作
接下来学习将会用到vscode进行代码编写,还需要使用pip进行下载相应资源库
vsvode官网
Visual Studio Code - Code Editing. Redefined
安装教学站内有很多大佬讲的特别细致,可自行查找
创建独立的python环境
创建一个独立的Python环境来学习爬虫是非常好的选择,这样可以避免与系统全局环境冲突,方便管理和维护,以下是创建独立环境的步骤
1.终端打开或命令提示符
-
Windows:打开命令提示符(CMD)或PowerShell。(可以选择vscode内的终端)
2.创建虚拟环境
-
假设你的项目文件夹名为
my_crawler_project
,进入该文件夹:
cd my_crawler_project
-
创建虚拟环境,命名为
venv
(你可以用其他名字):
python -m venv venv
3.激活虚拟环境
Windows:
.\venv\Scripts\activate
4.安装爬虫相关库
-
激活环境后,使用
pip
安装常用的爬虫库requests
:
pip install requests
以下就是我在我的vscode里面终端运行的截图
前面绿色的venv是我的虚拟环境的命名,有了说明环境设好了,
pip下载慢或报错原因:默认会从python库(国外)中进行下载安装。 解决办法:
临时修改安装命令: pip install 模块名 -i 国内仓库的地址 ,
例如 pip install requests -i https://pypi.tuna.tsinghua.edu.cn/simple (清华大学镜像库,如果不行可更换阿里云等一系列国内镜像源)。
永久修改仓库地址: pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple ,之后再使用 pip install 模块名 即可从指定的 国内仓库下载。