python爬虫基础篇：BeautifulSoup解析界面

BeautifulSoup解析界面

下载：pip install bs4

 from bs4 import BeautifulSoup
 import requests
 head = {
     'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130.0.0.0 Safari/537.36 Edg/130.0.0.0'
     }
 html = requests.get("https://www.zygx8.com/",headers=head)
 soup = BeautifulSoup(html.text,'lxml')
 tobody = soup.select("a font b")
 for t in tobody:
     print(t.text)

1. select语法 选取页面中的class或者id或标签名（tr，ul，阿，font）等例如获取页面title。直接soup.select(title)

    from bs4 import BeautifulSoup
    import requests
    head = {
        'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130.0.0.0 Safari/537.36 Edg/130.0.0.0'
        }
    html = requests.get("https://www.zygx8.com/",headers=head)
    soup = BeautifulSoup(html.text,'lxml')
    title = soup.select("title")
    for t in title:
        print(t)
        # 输出结果：<title>资源共享吧|易语言论坛|逆向破解教程|辅助开发教程|网络安全教程|www.zygx8.com|我的开发技术随记</title>
        print(t.text)
        # 输出结果：资源共享吧|易语言论坛|逆向破解教程|辅助开发教程|网络安全教程|www.zygx8.com|我的开发技术随记

html中的标签存在父子关系，其中

">"即找到某个tag标签下的子标签不获取其孙子标签（head > title）不获取title下的a标签内容

“~.”找到兄弟节点标签

通过tag的id查找 soup.select('#id')

返回查找到的元素的第一个：soup.select_one() 只返回一个，不返回列表

 from bs4 import BeautifulSoup
 import requests
 head = {
     'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130.0.0.0 Safari/537.36 Edg/130.0.0.0'
     }
 html = requests.get("https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4",headers=head)
 soup = BeautifulSoup(html.text,'lxml')
 title = soup.select("ul div>h2")
 for t in title:
     print(t.text.strip().replace(" ", "").replace("/n", ""))

食南之徒 素食者 长安的荔枝 太白金星有点烦 怪画谜案 活着 波兰人 额尔古纳河右岸 边水往事 绝叫 一句顶一万句 明亮的夜晚 西游八十一案:长安击壤歌 悉达多:一首印度的诗 七个证人 上升的一切必将汇合 我的天才女友:那不勒斯四部曲1 卡拉马佐夫兄弟 怪屋谜案 我胆小如鼠