业余时间用Ruby写个爬取亚马逊爆品，让自己有机会挣点外快
作为混迹于互联网的人，除了正常上班外，剩下的就是想着怎么着利用业余时间兼职或者找机会挣点外快。今天就随便分享一下，个人在亚马逊开店，有部分人在上面寻找一些热门或者爆款的产品，然后放到自己店铺，有用户需要的话就直接去别处下单，然后邮寄过去。大概思路就是这养，但是对于一个普通人来说，只能靠自己去搜索记录到表格里。
但是有更专业的公司，都是爬虫来进行数据整理，批量搞的模式，更高端，咱个人就随便搞搞了，爬一些热门的放上面，然后就等着呗，闲暇之余用ruby写了个简单的代码，仅供参考。
require 'net/http'
require 'nokogiri'
require 'uri'
# 设置代理信息
proxy_host = 'www.duoip.cn'
proxy_port = 8000
# 构建代理服务器地址
proxy_addr = URI.parse("http://#{proxy_host}:#{proxy_port}")
# 构建URL
url = URI.parse('https://origin-www.amazon.cn/gp/browse.html?node=2031274071&ref_=nav_cs_new') # 亚马逊的产品列表页面
# 使用Net::HTTP::Proxy代理发送HTTP请求
http = Net::HTTP::Proxy(proxy_addr.host, proxy_addr.port).new(url.host, url.port)
http.use_ssl = true
# 发送GET请求
response = http.get(url.request_uri)
# 使用Nokogiri解析HTML内容
doc = Nokogiri::HTML(response.body)
# 抽取需要的数据
# 假设产品名称在class为'product-title'的div元素中，产品价格在class为'product-price'的div元素中
products = doc.css('.product')
products.each do |product|
title = product.css('.product-title').text
price = product.css('.product-price').text
puts "Product Title: #{title}"
puts "Product Price: #{price}"
end
大概思路也整理下：
-
一开始，我们需要引入我们的工具：Ruby的Net::HTTP和Nokogiri库。这两个强大的库将帮助我们进行网络请求和HTML解析。
-
接下来，我们设定代理服务器的详细信息，包括其主机名和端口号。这是为了保护我们的真实IP地址不被目标网站知晓。
-
之后，我们构建出代理服务器的地址和我们要访问的目标URL。这是网络请求的起点和终点。
-
接着，我们利用Net::HTTP::Proxy创建了一个代理的HTTP对象，并向目标URL发送GET请求。这一步就像是我们在网络上投递了一个信件。
-
当我们收到响应后，我们使用Nokogiri库解析返回的HTML内容。这就像是打开信件，阅读其中的内容。
-
最后，我们利用CSS选择器在解析后的HTML中抽取我们所需要的数据，比如产品的名称和价格。这就像是从信件中找到我们需要的信息。
请注意，这只是一个基本的示例，实际的网络爬虫可能需要处理更复杂的HTML结构，或者需要处理各种可能出现的错误和异常。同时，我们在进行网络爬虫时，也要确保我们的行为符合网站的robots.txt规则和相关的法律法规。
有什么问题可以留言或私信，拒绝杠精！！！