Catalog
  1. 1. 自用的亚马逊商品爬虫
    1. 1.1. 功能说明
    2. 1.2. 当前版本
    3. 1.3. 爬取内容
    4. 1.4. 运行方式
    5. 1.5. todo list
amazon-sprider

自用的亚马逊商品爬虫

功能说明

给定关键词,爬取对应亚马逊网站对应商品搜索结果

当前版本

v0.0.1

爬取内容

  • asin 商品id
  • product name 商品名
  • price 商品价格
  • grade 评分
  • number of comment 评论数
  • detail page of product 详细页地址

运行方式

  1. 主函数中添加搜索词
  2. 默认指定为亚马逊美国地址, 需要变更可修改 Constant类
  3. 通过db.sql创建数据库实例
  4. 执行
  5. 结束后即可在db中看到数据

todo list

  • 参数可配置
  • excel数据落地
  • 多线程请求
  • 软件页面
Author: tuean
Link: http://tuean.cn/2019/10/25/amazon-sprider/
Copyright Notice: All articles in this blog are licensed under CC BY-NC-SA 4.0 unless stating additionally.
Donate
  • 微信
  • 支付寶

Comment