摘要:
说在开头 因公司需求,为减少工作成本,需采集一些店铺的数据,并且需插入线上数据库。 采集思路 HTML代码分析神器(HtmlAgilityPack),其次就是分析阿里巴巴的店铺数据规则。我这里的思路是,先在搜索栏根据关键词和地区搜索,然后根据结果分析出店铺的URL。再根据店铺的URL进去店铺,找到“所有分类页”,解析所有类目,再根据类目URL获取该类目下的产品数据。找到产品URL后,进入到产品页面,解析需要的产品信息,这是我个人的采集思路。下面介绍下每个步骤需要重点注意的地方。 1、分析店铺URL 先上图 URL规则为:http://s.1688.com/company/comp... 阅读全文