当前位置： 首页 > article >正文

大模型爬虫—ScrapeGraphAI

article 2025/1/21 9:30:16

大模型爬虫—ScrapeGraphAI

一、介绍

ScrapeGraphAI是一个网络爬虫 Python 库，使用大型语言模型和直接图逻辑为网站和本地文档（XML，HTML，JSON 等）创建爬取管道。

只需告诉库您想提取哪些信息，它将为您完成！

img

scrapegraphai有三种主要的爬取管道可用于从网站（或本地文件）提取信息：

  • SmartScraperGraph: 单页爬虫，只需用户提示和输入源；
  • SearchGraph: 多页爬虫，从搜索引擎的前 n 个搜索结果中提取信息；
  • SpeechGraph: 单页爬虫，从网站提取信息并生成音频文件。
  • SmartScraperMultiGraph: 多页爬虫，给定一个提示 可以通过 API 使用不同的 LLM，如 OpenAI，

http://www.kler.cn/a/313450.html

相关文章：

  • 【STM32-学习笔记-14-】FLASH闪存
  • 移远通信多模卫星通信模组BG95-S5获得Skylo网络认证，进一步拓展全球卫星物联网市场
  • Mousetrap：打造高效键盘快捷键体验的JavaScript库
  • Centos7将/dev/mapper/centos-home磁盘空间转移到/dev/mapper/centos-root
  • 嵌入式知识点总结 C/C++ 专题提升(一)-关键字
  • Sqlmap入门
  • AutoDL云计算GPT-SoVITS-TTS语音声色克隆语音合成
  • 卡牌抽卡机小程序：市场发展下的创新
  • 【Webpack--006】处理字体图标资源
  • 【2024华为杯数学建模竞赛】E题 解题思路 | 视频特征提取
  • 管理和合并多个开发者的 Git 提交：团队协作的艺术
  • 2023-基于深度学习的射频指纹识别与信道效应缓解
  • 使用Django 搭建自动化平台
  • 基于JavaWeb开发的java springboot+mybatis电影售票网站管理系统前台+后台设计和实现
  • Angular 2 TypeScript：现代Web开发的利器
  • Java免税购物商城：Spring Boot技术实现
  • intellij-idea创建html项目
  • 什么是chatgpt？国内有哪些类gpt模型？
  • 《家庭无线网络覆盖项目》
  • 装载机智能AI影像防撞系统，危险区域实现熄火停车功能！
  • halcon 快速定义字典
  • Hive企业级调优[3]—— Explain 查看执行计划
  • react crash course 2024 (1)理论概念
  • oracle 11g写一个判断是否是身份证的函数，函数名称为：FUN_IS_IDENNO
  • C++第一次练习
  • WPF 依赖属性改变触发响应事件