爬取的数据周期性重复
额,在另一个爬虫里又遇到了悲剧,emmmmmmmmm.
1400 960
一番观察之后 我终于找到了错误的根源
原来不同的URL不同的标签所对应的页面信息竟然相同。
终于明白了 出现这种情况的原因就是这两个地方没有相应的条件的信息,于是就提供了云南省的信息。
额,在另一个爬虫里又遇到了悲剧,emmmmmmmmm.
1400 960
一番观察之后 我终于找到了错误的根源
原来不同的URL不同的标签所对应的页面信息竟然相同。
终于明白了 出现这种情况的原因就是这两个地方没有相应的条件的信息,于是就提供了云南省的信息。