摘要：在python中数组的储存方式和其他类似整形，浮点型的方式是不一样的，可以说数组是一种容器类型。这就导致了copy和deepcopy在数组中的不同。 而不使用copy,直接在数组中改变内容 当数组a内容单个变化时，b也会变化，因为b和a此时就是同一个物品的不同标签而已。 但当将标签a放到另一个物品上 阅读全文
对网易云评论 JS加密 进行破解爬取评论
2019-07-17 14:50 by Xiao_Chen, 1156 阅读, 0 推荐, 收藏, 编辑
摘要：爬过网易云评论的都知道，网易云的歌曲都是通过 <iframe> 便签进行层层迭代，而且数据都是异步加载的，就算是使用Selenium也要进行框架的转换，非常麻烦，且效率低下。 通过Chrome抓包得到评论的URL 可以看到评论的URL使用POST传进了两个参数，这一看就是加密过的，直接访问肯定是进不 阅读全文
对B站各种数据进行抓包分析
2019-07-17 09:22 by Xiao_Chen, 7668 阅读, 0 推荐, 收藏, 编辑
摘要：写在前面：现今绝大多数的网站都使用js来加载数据，传统的请求方法很难再奏效，对动态数据的爬取现在大都分为两类爬取方法： 1. 使用Selinium等自动化测试软件去模拟浏览器，这种方法几乎可以适用于所有网站，但是缺点是效率速度太慢了，如果有别的爬取方法，优先采用其他。 2. 对网页直接进行抓包处理， 阅读全文
利用 scrapy-splash 对京东进行模拟点击并进行数据爬取
2019-06-10 16:23 by Xiao_Chen, 3616 阅读, 0 推荐, 收藏, 编辑
摘要：本人是第一次写博客，有写得不好的地方欢迎值出来，大家一起进步！ scrapy-splash的介绍 scrapy-splash模块主要使用了Splash. 所谓的Splash, 就是一个Javascript渲染服务。它是一个实现了HTTP API的轻量级浏览器，Splash是用Python实现的，同时 阅读全文