爬虫实战：探索XPath爬虫技巧之热榜新闻
之前我们已经详细讨论了如何使用BeautifulSoup这个强大的工具来解析HTML页面，另外还介绍了利用在线工具来抓取HTTP请求以获取数据的方法。在今天的学习中，我们将继续探讨另一种常见的网络爬虫技巧：XPath。XPath是一种用于定位和选择XML文档中特定部分的语言，虽然它最初是为XML设计的，但同样适用于HTML文档的解析。
HTML和XML有很多相似之处，比如标签、属性等，因此XPath同样可以在HTML文档中有效地定位元素。爬虫可以利用XPath表达式来指定需要提取的数据的位置，然后通过XPath解析器来解析HTML文档，从而提取所需的信息。
好的，我们不多说，直接开始今天的任务，爬取36kr的热榜新闻以及新闻搜索。
XPath爬虫
如果对XPath不熟悉也没关系，可以直接使用它，就能发现它与我们之前使用的BeautifulSoup有着相同的目的。只是在表达式和方法的使用上略有不同。在进行爬虫之前，我们可以先下载一个XPath工具。之前我们编写BeautifulSoup代码时，需要自行查找HTML代码中的标签并编写代码进行解析，这样很费眼。而在浏览器中可以使用插件工具来直接提取XPath元素。
XPath插件
有很多浏览器插件可供选择，我们只需直接获取一个即可。最重要的是，这些插件可以让我们在选择时轻松复制表达