摘要：
言
同上一篇的aes加密一样，也是偶然发现这个rsa加密的，目标网站我就不说了，保密。
当我发现这个网站是ajax加载时：
我已经习以为常，正在进行爬取时，发现返回为空，我开始用findler抓包，发现它验证了cookie，然后我带上cookie访问放到headers里，就能得到结果
heade 阅读全文
摘要：
发现问题
在一次偶然中，在爬取某个网站时，老方法，打开调试工具查看请求方式，请求拦截，是否是异步加载，不亦乐乎，当我以为这个网站非常简单的时候，发现二级网页的地址和源码不对应
Ajax异步加载？源码也是这样的
而且这些链接直接访问根本无法访问
用火狐浏览器的event显示：
找到加密方式
源码：
function() {
var hh = $(this).attr("href");
if (typeof(hh) == 'undefined' || hh == '#') {
return
}
var aa = hh.split("/");
var aaa = aa.length; 阅读全文
摘要：
最近在爬一个网站，然后爬到详情页的时候发现，目标内容是用pdf在线预览的
比如如下网站：
https://camelot-py.readthedocs.io/en/master/_static/pdf/foo.pdf
根据我的分析发现，这样的在线预览pdf的采用了pdfjs加载预览，用爬虫的方法根本无法直接拿到pdf内的内容的，对的，你注意到了我说的【根本无法直接拿到】中的直接两个字，确实直接无法拿到，怎么办呢？只能把pdf先下载到本地，然后用工具转了，经过我查阅大量的相关资料发现，工具还是有很多：
1.借用第三方的pdf转换网站转出来
2.使用Python的包来转：如：pyPdf，pyPdf2，pyPdf4，pdfrw等工具
这些工具在pypi社区一搜一大把：
但是效果怎么样就不知道了，只能一个一个去试了，到后面我终于找到个库，非常符合我的需求的库 ——camelot
camelot可以读取pdf文件中的数据，并且自动转换成p 阅读全文
摘要：
最近有点空余就一直在开发我的项目，最近做了两个项目：
IPproxy，看名字就知道啦，就是一个ip代理池，爬取了各大免费的代理网站，然后检测可用性，github地址 相关的介绍github上已经说明了
get_jobs，爬取了几十个招聘类网站的数据，github地址 同样的，相关的介绍github上已经说明了
根据以上爬取的大概也许可能接近上百个网站吧，加上我初学爬虫的时候爬的网站，现在也算是爬了有接近上千个网站了，对爬虫也算是小有心得了，下面就开始说说吧 阅读全文
摘要：
情况是这样的，项目用的restful规范，后端用的django+djangorestframework，前端用的vue-cli框架+webpack，前端与后端交互用的axios，然后再用户登录之后，axios添加token作为axios的header并请求后端，后端部分用的djangorestframework的认证组件。 阅读全文
摘要：
django的orm部分错集综合
本篇文章我会持续更新，把开发中遇到的一切orm相关的问题都放在这里 阅读全文
摘要：
前面两个终于把webpack相关配置解析完了。
现在终于进入vue的开发了
vue组件化开发预热
前期准备 阅读全文
摘要：
webpack的常用loder和插件
loder和插件是什么，现在暂且不表，看到后面你就懂了
引入css问题
直接用link标签导入css
在前面的讲解中，相信已经对webpack有一定了解了，相比很多朋友已经跃跃欲试了，准备要搞一个自己的小 阅读全文
摘要：
webpack
什么是webpack
官方解释：webpack 是一个现代 JavaScript 应用程序的静态模块打包器(module bundler)。什么意思呢？就是可以把你开发项目时用到的所有资源全部打包成一个js文件，然后项目在上线阶段引入这个js文件就行了，它会自动帮你展出你最开始用到的资源
感觉有点编译的意思对吧
webpack作用 阅读全文
摘要：
异步请求
其实什么是异步请求已经不用多说了，通俗的说，就是整个页面不会刷新，需要更新的部分数据做局部刷新，其他数据不变。
学到这里，你应该用过jquery里的ajax了，所以很能理解了，不多说了。详细的就自己百度了
在vue中，可以做异步请求的有vue-resource和axios
后端项目准备：
我用的Python作为后端语言，用的Python的django框架作为后端的web服务，且用的是django-rest-framework做成了前后端分离的项目，本文着重点不在Python后端这方面，感兴趣的可以看我的Python相关文章，这里就不涉及Python的讲解，我直接把项目代码放在这，可以直接用我的服务端项目，前提你得装了相关的开发环境（Python+django+djangorestframework） 阅读全文