Scrapy 爬虫的大模型支持
使用 Scrapy 时，你可以轻松使用大型语言模型 (LLM) 来自动化或增强你的 Web 解析。
有多种使用 LLM 来帮助进行 Web 抓取的方法。在本指南中，我们将在每个页面上调用一个 LLM，从中抽取我们定义的一组属性，而无需编写任何选择器或训练任何模型。
NSDT工具推荐： Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编辑器 - REVIT导出3D模型插件 - 3D模型语义搜索引擎 - AI模型在线查看 - Three.js虚拟轴心开发包 - 3D模型在线减面 - STL模型在线切割
1、启动 Scrapy 项目
按照 Web 抓取教程的启动 Scrapy 项目页面上的说明启动 Scrapy 项目。
2、安装 LLM 依赖项
本指南将使用 LiteLLM 作为 LLM 的 API。
出于本指南的目的，我们将通过 Ollama 运行 Mistral 7B LLM，但 LiteLLM 几乎可以运行任何 LLM，正如你稍后将看到的那样。
首先安装 html2text、LiteLLM 和 Ollama：
pip install html2text litellm ollama然后启动 Ollama 服务器：
ollama serve打开第二个终端，安装 Mistral 7B：
ollama pull mistral3、在你的爬虫程序中使用 LLM
现在你有一个包含简单爬虫程序和 LLM 的 Scrapy 项目可供使用，请在 tutorial/spiders/books_toscrape_com_llm.py 中使用以下代码创建第一个爬虫程序的替代方案：
import json
from json.decoder import JSONDecodeError
from logging import getLogger
import ollama
from html2text import HTML2Text
from litellm import acompletion
from scrapy import Spider
html_cleaner = HTML2Text()
logger = getLogger(__name__)
async def llm_parse(response, prompts):
key_list = ", ".join(prompts)
formatted_scheme = "\n".join(f"{k}: {v}" for k, v in prompts.items())
markdown = html_cleaner.handle(response.text)
llm_response = await acompletion(
messages=[
{
"role": "user",
"content": (
f"Return a JSON object with the following root keys: "
f"{key_list}\n"
f"\n"
f"Data to scrape:\n"
f"{formatted_scheme}\n"
f"\n"
f"Scrape it from the following Markdown text:\n"
f"\n"
f"{markdown}"
),
},
],
model="ollama/mistral",
)
data = llm_response["choices"][0]["message"]["content"]
try:
return json.loads(data)
except JSONDecodeError:
logger.error(f"LLM returned an invalid JSON for {response.url}: {data}")
return {}
class BooksToScrapeComLLMSpider(Spider):
name = "books_toscrape_com_llm"
start_urls = [
"http://books.toscrape.com/catalogue/category/books/mystery_3/index.html"
]
def parse(self, response):
next_page_links = response.css(".next a")
yield from response.follow_all(next_page_links)
book_links = response.css("article a")
yield from response.follow_all(book_links, callback=self.parse_book)
async def parse_book(self, response):
prompts = {
"name": "Product name",
"price": "Product price as a number, without the currency symbol",
}
llm_data = await llm_parse(response, prompts)
yield {
"url": response.url,
**llm_data,
}在上面的代码中：
首先定义了一个 llm_parse 函数，它接受 Scrapy 响应和要提取的字段字典及其字段特定提示。
然后，将响应转换为 Markdown 语法，以便 LLM 更轻松地解析，并向 LLM 发送一个提示，要求输入具有相应字段的 JSON 对象。
注意：构建一个以预期格式获取预期数据的提示是此过程中最困难的部分。此处的示例提示适用于 Mistral 7B 和 books.toscrape.com，但可能不适用于其他 LLM 或其他网站。
如果是有效的 JSON，则返回 LLM 结果。
使用字段提示调用 llm_parse 来提取名称和价格，并在包含非来自 LLM（url）的额外字段后生成结果字典。
现在可以运行你的代码：
scrapy crawl books_toscrape_com_llm -O books.csv在大多数计算机上，执行将需要很长时间。运行 ollama serve 的终端中的日志将显示你的 LLM 如何获取提示并为其生成响应。
执行完成后，生成的 books.csv 文件将包含 books.toscrape.com 神秘类别中所有书籍的记录（CSV 格式）。您可以使用任何电子表格应用程序打开 books.csv。
4、后续步骤
以下是一些后续步骤的想法：
- 尝试其他 LLM。
上述代码中的以下一行通过 Ollama 的本地实例确定要使用的 LLM 是 Mistral 7B：
model="ollama/mistral"如果你可以访问其他 LLM，则可以将此行更改为使用其他 LLM，并查看更改如何影响速度、质量和成本。
请参阅 LiteLLM 文档，了解许多不同 LLM 的设置说明。
- 看看你是否可以获得与 Zyte API 自动提取相同的输出（例如产品），同时具有可比的速度、质量和成本。
- 看看你是否还可以自动化抓取部分并实现与 Zyte 的 AI 驱动蜘蛛可以做的事情类似的目标。
- 尝试提取源 HTML 中无法以结构化方式获得的数据，例如书籍作者，有时可以在书籍描述中找到。
- 尝试提取源 HTML 中无法直接获得的数据，例如书籍语言（英语）、货币代码（GBP）或书籍描述的摘要。
- 尝试不同的 HTML 清理方法，或者根本不进行清理。
上面的代码将响应 HTML 转换为 Markdown，因为这允许 Mistral 7B 按预期工作。其他 LLM 可能适用于原始 HTML，可能在经过一些清理之后（请参阅 clear-html），从而能够提取转换为 Markdown 时可能丢失的一些额外数据。
但请注意，LLM 的上下文长度有限，可能需要清理和修剪 HTML 才能将 HTML 放入提示中，而不会超过该上下文长度。
- 如果你可以访问支持图像解析的 LLM，请查看是否可以扩展蜘蛛以下载书籍封面，并从中提取其他信息，例如书籍作者。
- 不要每页使用一个 LLM，而是使用 LLM 根据第一页的原始 HTML 为所需字段生成 CSS 选择器，并使用这些选择器解析所有其他页面。
这样可以最大限度地减少 LLM 的使用，以获得更好的速度和成本，但对于具有多种不同布局或执行某些布局 A-B 测试的网站，或者网站在抓取过程中更改布局的不幸情况，可能会影响质量。
原文链接：Scrapy 大模型爬虫 - BimAnt