【自主开发】电商产品价格实时抓取小工具

  各位朋友,你是不是曾经想从网店够买心仪的产品,奈何一次又一次的错过好价格呢?如果你曾经碰到过,那么下面的这个小工具也许可以帮你买到心仪的产品。

     好价的出现往往随机的,而且时间短暂。机会是给有准备的人的。难道时时的关注网站,不停的刷新页面,才能等到机会么,当然不是。这种低级、乏味的事情当然要由电脑来做啦!

  好,不扯皮了,下面开始介绍故事的主角:电商产品价格实时抓取小工具!

  

  这个小工具是我在工作之余完成的,它可以实时的抓取指定商品的价格,是否有货等状态,并在达到心理价位上,弹窗提醒用户。

  1、支持的电商

  • 京东(360buy)
  • 亚马逊(Amazon.cn)
  • 易迅(51buy)
  • 当当(dangdang)

  2、工作原理

  就是一遍又一遍的抓取产品页面,分析出产品的价格,库存等信息啦~~~~~~  

  3、工具特点

  主要有以下五个小特点:

  1)自动抓取

    完全自动化

  2) 价格识别

    京东产品的价格是图片格式的(png),所以需要用到一些图像识别的小知识。

  3) 多个产品多线程查询

    通过调度器,可以同时支持多个产品查询。而通过多线程,则可以提供更快的响应!

  4)设置心理价格,当价格出现时,弹窗提醒。

    当你的心理价位出现时,会弹窗提醒,一定把握时机!

  5)状态监控

    监控当前队列数量,线程数量、执行次数和网络流量等等。

  4、未来的工作

  1)支持更多的电商

    一号店、天猫、新蛋、亚马逊米国等等

  2)完善库存状态的抓取

    目前,京东商城的产品库存状态抓取不到,需要进一步研究。

  5、简易使用教程

  1)Add a product - 添加产品

  

  填写名称、网址、间隔和目标价格,点击确定即可!

  也可以通过配置文件来添加产品,配置文件名为:products.xml。格式如下:

  <?xml version="1.0" encoding="gb2312"?>
  <infor>
    <configuration>
      <MaxAsyncInvokeCount>16</MaxAsyncInvokeCount>
      <ThreadDelayTime>1000</ThreadDelayTime>
    </configuration>
    <productlist>
      <product id="ue900">
        <name>ue900</name>
        <url>http://item.51buy.com/item-448742.html</url>
        <interval>5000</interval>
        <targetprice>2000</targetprice>
      </product>
      <product id="ue9000">
        <name>ue9000</name>
        <url>http://item.51buy.com/item-448746.html</url>
        <interval>5000</interval>
        <targetprice>2000</targetprice>
      </product>   
    </productlist>
  </infor>

  其中configuration用来配置多线程数量和抓取时间间隔(ms).

  product为产品信息,包括产品名称、网址、抓取间隔(ms,已经无效了)、目标价位即心理价位。

  2)Clear Queue - 清除队列  

  清除队列中的页面请求。

  3)Start? - 开始抓取

  开始抓取价格信息。

  4)Stop? - 停止抓取

  停止抓取价格信息。

  6、下载试用

    https://files.cnblogs.com/junier/ProductClawer.zip

posted on 2013-02-01 17:31  iPersia  阅读(2338)  评论(7编辑  收藏  举报

导航