影刀RPA实战：网页爬虫之天猫商品数据
1.实战目标
1.1 实战目标
在电商行业，我们经常爬取各个平台的商品数据，通过收集和分析这些商品数据，企业可以了解市场趋势、消费者偏好和竞争对手的动态，从而制定更有效的市场策略。爬取商品数据对于企业在市场竞争中把握先机、优化运营策略、提升产品和服务质量具有重要的价值
- 分析用户的购买行为，有助于企业了解消费者的需求和购物习惯，优化产品和服务。
- 根据收集到的商品评价和反馈，可以对产品进行改进，提高产品质量和满足消费者需求。
- 利用商品数据，可以设计更有针对性的营销活动，提高转化率和销售额。
- 了解竞争对手的定价策略和市场价格波动，可以调整自己的价格策略，提高竞争力。
- 通过分析用户对品牌商品的反馈和评价，可以加强品牌建设，提升品牌形象。
本次使用影刀RPA，实现对天猫平台药品数据的爬取，实战示例保存在excel数据表中。小伙伴们可以在这个案例的基础基础上，设计更多的商品数据采集机器人。为我们的运营决策提供有力依据！
1.2 知识准备
- 网页元素获取
- 循环相似元素
- 网页批量数据抓取
- excel操作指令
2.竞品与商品跟价
2.1 竞品数据
竞品数据是指与自身产品或服务直接或间接竞争的其他产品或服务的相关数据。这些数据通常包括竞品的市场份额、用户评价、功能特性、价格策略、营销活动等信息。通过对竞品数据的分析，企业可以了解市场竞争态势，发现自身产品的优势和不足，从而制定有效的市场策略。
应用竞品数据的场景包括：
- 市场定位：通过竞品数据分析，确定自身产品在市场中的定位。
- 功能优化：借鉴竞品的优点，优化自身产品的功能和用户体验。
- 营销策略：分析竞品的营销活动，制定自身的市场推广计划。
- 风险预警：提前发现潜在的市场风险和竞争对手的动向，制定应对策略。
2.2 商品跟价
商品跟价，即价格跟随策略，是指电商平台上商家为了保持竞争力，实时监控竞争对手的商品价格，并自动或手动调整自己的商品价格，以吸引消费者或保持市场份额的做法。这种做法在电商平台上越来越普遍，尤其是在大促销期间，如618、双11等购物节。
跟价的意义：
- 提升竞争力：通过自动调整价格，商家可以确保自己的商品价格具有竞争力，吸引对价格敏感的消费者。
- 增加销量：低价往往会驱动销量的增加，尤其是在电商平台上，价格往往是消费者决策的重要因素。
- 响应市场变化：市场供求关系不断变化，通过跟价，商家可以快速响应市场变化，避免因价格不具竞争力而错失销售机会。
- 维护客户关系：对于忠诚客户，商家可以通过价格优势维护客户关系，防止客户流失到竞争对手。
- 数据驱动决策：跟价策略通常基于数据分析，这有助于商家做出更加科学和合理的定价决策。
同时也存在一些问题和挑战：
- 利润压缩：为了保持价格竞争力，商家可能不得不降低利润空间，长期以往可能会影响商家的盈利能力。
- 价格战：过度的跟价可能导致平台陷入价格战，损害整个行业的利润水平。
- 品质问题：在追求低价的过程中，可能会出现牺牲产品质量以降低成本的情况，最终损害消费者利益。
- 政策风险：一些国家和地区对电商平台的价格竞争有严格的监管，商家需要遵守相关法律法规，避免不正当竞争。比如药品行业，对一些药品的价格，有着严格的把控。
- 操作复杂性：对于商家而言，实施有效的跟价策略需要复杂的技术支持和数据分析能力。
电商平台和商家在实施跟价策略时，需要权衡利弊，找到适合自己的平衡点。同时，也要考虑到长期品牌建设和消费者关系维护，不仅仅是短期的价格竞争。
本次我们主要考虑的是价格因素，通过抓取竞争对手的商品价格数据，结合我们自身的数据，制定有效的价格策略，提升自己摘平台上竞争力。
3.实战步骤
3.1 登录天猫
我们打开天猫网站，登录后，让他保持登录状态，登录一次后，短期内，使用以下两条指令都可以实现。
3.2 循环查询商品数据
首先我们设置下需要获取的数据，比如现在我们要抓取的数据是：熊去氧胆酸胶囊 250mg*25粒/盒
设置一张存放抓取数据的excel表
准备好后，我们循环第一张数据中的商品名称，以此在天猫上搜索。
影刀代码:
3.3 批量数据抓取商品列表
每循环一个商品，都会查询出一个商品列表，在这个网页对象中我们实施商品抓取
对于这个列表页我们使用数据抓取功能，直接抓取整个页面，需要分页的伙伴请参考之前的书籍抓取实战。
主要是2个步骤：
- 使用批量数据抓取指令，获取整个页面的数据
- 循环这些商品数据，调用商品详情页流程
3.4 商品详情页获取数据
需要在详情页面获取的数据
首先获取公共数据，每个套装只是数量与价格不同，其他的数据一致。
需要注意,平台商铺，我们需要使用通配符获取，使用一般的网页获取，会失效，这需要观察页面的相关属性来排除错误
其次，套餐类型是一个相似元素列表，我们获取后循环，就能拿到每个套餐的数量与价格
最后，将数据写入列表中
3.5 写入Excel数据表
每循环一次套餐类型，我们就把获取的数据写入excel中，直到所有的数据抓取完毕
3.6 数据后续处理思考
数据爬取完成后，需要做以下几点处理
- 平台商品是模糊搜索，需要确定写入的商品是否是实际需要的
- 某些字段需要二次处理，比如套餐数量，有的是数字，有的可能是数字加说明，需要我们处理
- 缺失数据处理，有些数据有可能获取的是空字符串，需要进行删除或填存
- 数据存储问题，结合我们自身的条件，是文档存放，数据库存放，整理成格式统一，便于调取使用的数据格式才是我们最终的目的。
4.实战难点解析
4.1 数据抓取
主要讲下数据抓取这个指令：
在网页中抓取批量数据，常用于抓取列表页、详情页，同时可通过设置分页按钮抓取多页数据
首先，打开或获取一个网页对象
其次，启动数据抓取指令，这个指令在影刀软件的上方中间位置
批量抓取，类似与获取相似元素，他的特点是会自动分析网页，将你所选择的元素作为依据，获取整个页面的与其相类似的元素，就形成一列数据存放起来
操作演示：
分页设置，多页获取的思路就是先获取总页数，和点击下一页元素
4.2 反爬虫
平台对于数据做了反爬虫技术，如果频繁的爬取数据，页面会有弹窗验证设置，同时影刀也可以解决一些弹窗限制，但是需要付费。
5.最后
感谢大家，请大家多多支持！