当前位置： 首页 > article >正文

大模型爬虫—ScrapeGraphAI

article 2024/11/13 18:04:07

大模型爬虫—ScrapeGraphAI

一、介绍

ScrapeGraphAI是一个网络爬虫 Python 库，使用大型语言模型和直接图逻辑为网站和本地文档（XML，HTML，JSON 等）创建爬取管道。

只需告诉库您想提取哪些信息，它将为您完成！

img

scrapegraphai有三种主要的爬取管道可用于从网站（或本地文件）提取信息：

  • SmartScraperGraph: 单页爬虫，只需用户提示和输入源；
  • SearchGraph: 多页爬虫，从搜索引擎的前 n 个搜索结果中提取信息；
  • SpeechGraph: 单页爬虫，从网站提取信息并生成音频文件。
  • SmartScraperMultiGraph: 多页爬虫，给定一个提示 可以通过 API 使用不同的 LLM，如 OpenAI，

http://www.kler.cn/a/313450.html

相关文章：

  • 华为数通HCIA系列第5次考试-【2024-46周-周一】
  • Ai创作新风标！仅需三步,利用ai工具免费制作抖音爆款的动物融合视频(含完整的步骤)
  • 使用HTML、CSS和JavaScript创建动态圣诞树
  • 【贪心算法】No.1---贪心算法（1)
  • 【MATLAB代码】二维平面上的TDOA，使用加权最小二乘法，不限制锚点数量，代码可复制粘贴
  • python数据写入excel文件
  • AutoDL云计算GPT-SoVITS-TTS语音声色克隆语音合成
  • 卡牌抽卡机小程序：市场发展下的创新
  • 【Webpack--006】处理字体图标资源
  • 【2024华为杯数学建模竞赛】E题 解题思路 | 视频特征提取
  • 管理和合并多个开发者的 Git 提交：团队协作的艺术
  • 2023-基于深度学习的射频指纹识别与信道效应缓解
  • 使用Django 搭建自动化平台
  • 基于JavaWeb开发的java springboot+mybatis电影售票网站管理系统前台+后台设计和实现
  • Angular 2 TypeScript：现代Web开发的利器
  • Java免税购物商城：Spring Boot技术实现
  • intellij-idea创建html项目
  • 什么是chatgpt？国内有哪些类gpt模型？
  • 《家庭无线网络覆盖项目》
  • 装载机智能AI影像防撞系统，危险区域实现熄火停车功能！
  • halcon 快速定义字典
  • Hive企业级调优[3]—— Explain 查看执行计划
  • react crash course 2024 (1)理论概念
  • oracle 11g写一个判断是否是身份证的函数，函数名称为：FUN_IS_IDENNO
  • C++第一次练习
  • WPF 依赖属性改变触发响应事件