爬虫经验总结二

当通过json爬取数据时会显得相对简单，因为数据是通过键对值进行爬取的，这里面需要注意的是

当网页中数据很多并且是动态生成的——比如下拉查看新数据。这些数据都是存放着在json中的，

我们需要找到json的网页，然后去掉非法字符使得python可以识别json，然后找到对应的键值进行爬取，

在这里面有些json中存放的数据的多少是通过链接里面传入的数字来决定的，还有一些是数据量是固定的，

但是json链接是多个的，这时候需要我们查找这些链接的规律然后通过for循环挨个爬取