随笔分类 - Python/Go/Scala
函数式编程
摘要:一.使用fiddler获取手机上的数据 1.抓取手机数据需要抓取数据包,从中获取需要的数据,根据别人写的博客,进行了初步的尝试,最终获取了一些自己需要的数据 2.首先要抓取数据(Fiddler抓包,手机WiFi代理), 3.分析数据(解析json或者HTML,提取有用的信息) 4.编写代码,获取需要
阅读全文
摘要:一、爬虫学习教程 1. https://www.jianshu.com/u/c32d557edfa3 2. WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic,你可以快速开发出一个高效、易维护的爬虫。 3. 基于webmagic的通用爬虫抓取应用 4. 各大网站登陆方式 5. 一
阅读全文
摘要:正确处理文本,特别是正确处理Unicode。是个老生常谈的问题,有时甚至会难倒经验丰富的开发者。并不是因为这个问题很难,而是因为对软件中的文本,开发者没有正确理解一些关键概念及其表示方法。在StackOverflow上搜索关于UnicodeDecodeError相关的问题,可以看到很多人都有这样的误
阅读全文
摘要:1. 语法入门 Python教程 2. 爬虫学习系列教程 1)宁哥的小站 https://github.com/lining0806/PythonSpiderNotes 2)Python爬虫开发 3)Python爬虫学习系列教程
阅读全文