当前位置：首页 > article >正文

SpringBoot实战：AI大模型+亮数据代理高效获取视频资源

article 2024/11/15 13:16:14

文章目录

前言
技术实现
- SpringBoot项目构建
- 代理产品选取
- - 那为什么会选择亮数据呢？
  - 静态住宅代理
- AI大模型构建爬虫
- 数据采集
号外号外
产品更新
- 更新一，无需审核，直接使用！
- 更新二：智能助手，一路随行
促销落地

前言

在短视频行业的迅猛发展下，海量的内容数据每天都在不断涌现，如何高效、精准地获取和处理这些数据，成为了许多平台和开发者面临的核心挑战。借助代理服务和人工智能大模型的结合，已经成为解决这一问题的有效途径。

在这里插入图片描述

代理服务通过智能化的网络请求转发和负载均衡技术，不仅提高了数据采集的效率，还帮助绕过地理限制和反爬机制。而AI大模型则能够在海量视频内容中进行深度分析，识别用户兴趣和行为趋势，从而提供更精准的内容推荐和数据洞察。本文将探讨如何通过代理服务和AI大模型的协作，实现对短视频数据的高效获取和智能分析，助力短视频平台在激烈的竞争中脱颖而出。

技术实现

SpringBoot项目构建

打开编程软件 IDEA，选择创建新项目
在这里插入图片描述

对项目名、路径、jdk等参数进行配置，然后点击【下一步】创建项目。
在这里插入图片描述

创建完项目之后引入的父依赖如下图
在这里插入图片描述

接着我们在pom.xml中增加爬虫所需要的依赖项
在这里插入图片描述

到此，项目的基础信息已经准备完毕。

代理产品选取

至于代理产品的话，我们还是使用我们的老朋友——亮数据。亮数据（bright data）成立于2014年，为世界500强、学术机构及大中小型企业提供一站式公开网页数据采集解决方案，以高效、可靠，灵活的方式挖掘采集网页数据，提供给机构企业高质量的数据以供研究、监控与分析，从而做出更好的决策。
在这里插入图片描述

那为什么会选择亮数据呢？

亮数据（Bright Data）为我们提供了一站式高速、稳定、安全的代理服务解决方案。亮数据是一个基于云的数据收集平台，它可以帮助企业从数百万个网站中检索和分析结构化和非结构化数据。这个工具主要面向营销、电子商务、社交媒体、搜索引擎优化和产品开发团队。亮数据的作用在于为全球的企业和研究人员赋能，使他们能够获得竞争优势，推动业务决策、研究工作和市场分析。

静态住宅代理

点击亮数据官网进行注册登录，来到控制台，点击开始使用，我本次就以ISP代理为例进行演示，点击【开始使用】

在这里插入图片描述

然后根据自己的需要选择代理类型、IP数量和选择国家，然后点击【添加】按钮。
在这里插入图片描述

成功之后就会弹出代理已就绪的弹窗，证明你可以开始使用了
在这里插入图片描述

我们可以在控制台中查看我们的ip列表，然后在程序中进行配置

在这里插入图片描述

AI大模型构建爬虫

首先我们需要借助大模型的力量来帮我们配置一下代理
在这里插入图片描述

然后我就按照大模型的提示来进行代码配置，配置如下：

// 设置 ChromeOptions
ChromeOptions options = new ChromeOptions();
// BaseConstant.PROXY_SERVER中配置代理的ip和port
options.addArguments("--proxy-server=" + BaseConstant.PROXY_SERVER);
// 禁用 WebDriver 标识
options.addArguments("--disable-blink-features=AutomationControlled");  
// 允许不安全的证书
options.setAcceptInsecureCerts(true);
// 启用无痕模式
options.addArguments("--incognito");  
// 设置 User-Agent 模拟普通浏览器用户
options.addArguments("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36");
// 允许不安全的证书
options.setAcceptInsecureCerts(true); 

// 设置 ChromeDriver 路径（如果未将其添加到 PATH 环境变量）
System.setProperty("webdriver.chrome.driver", BaseConstant.WEBDRIVER_CHROME_DRIVER_PATH);

// 启动 ChromeDriver，配置代理
WebDriver driver = new ChromeDriver(options);

// 访问一个网站，验证代理是否生效
driver.get("https://www.pexels.com/zh-cn/search/videos/bird");
// 关闭浏览器
driver.quit();

数据采集

我们编写程序代码来采集数据，代码如下

String js = "window.scrollBy(0,document.body.scrollHeight)";
jsDriver.executeScript(js);

// 等待视频元素加载，视频的 HTML 标签是 <video> 
List<WebElement> videoElementList = driver.findElements(By.tagName("video"));

int videoCount = 0;
// 遍历每个视频元素，最多下载10个视频
for (WebElement videoElement : videoElementList) {
    // 下载视频的方法
	downloadVideo(videoUrl, outputFileName);
	videoCount++;
}
System.out.println("共下载了 " + videoCount + " 个视频");

运行程序开始采集数据
在这里插入图片描述

展示一下我们的成果
在这里插入图片描述

这样我们就借助亮数据代理和AI大模型完成了视频数据的采集，接下来就可以使用视频制作软件去大展身手了！

另外亮数据还为我们提供了统计流量的功能，我们可以在控制台中进行查看
在这里插入图片描述

号外号外

亮数据重磅推出“免费试用优惠”及“首次chongzhi优惠”
1）即日起，注册新用户，可以获得2+5共7$免费试用产品的机会。
2）新客户首次chongzhi优惠，chong多少送多少，最高500$。
3）数据中心代理和静态代理，最近做了大幅的价格和收费模式的调整，颇具竞争力，有兴趣的可以上公司主页了解详情。以上充值赠送活动，针对数据中心和静态代理同样有效！