mufengsir

摘要： 反反爬的主要思路 1.尽可能的去模拟浏览器，浏览器在如何操作，代码中就如何去实现。 2.wap 和app的数据反反爬一般不厉害 通过headers字段来反爬 把headers的信息copy到程序的headers：如常见的User-Agent Content-type referer Cookie 等 阅读全文

摘要： 数据的分类 我们知道，成功发出请求并获取响应后，这时候就要从数据中提取目标数据了。 lxml 1. 为什么要学习lxml lxml是一款高性能的 Python HTML/XML 解析器，我们可以利用XPath，来快速的定位特定元素以及获取节点信息 2.什么是xpath XPath (XML Path 阅读全文

摘要： requests简介 requests模块是python3自带的库，可直接使用，该库主要用来处理http请求 中文文档 ： http://docs.python-requests.org/zh_CN/latest/index.html requests模块的简单使用 requests模块发送简单的请 阅读全文

摘要： 浏览器发送HTTP请求的过程 调出网页分析工具：鼠标右键 >检测 可以看到，返回了很多资源，但是我们只需要找到url的这个文件即可，学过WEB的可能知道，其实除了文件www.baidu.com之外，其它都是一些前端（css js）和资源(image video)文件 Request URL: htt 阅读全文

摘要： 为什么要学习爬虫 既然是模拟认为操作浏览器和APP，那数据所有人都能看到，应该是不值钱的，那为啥还要用爬虫? 众所周知，互联网已经进入了下半场，上半场积累的数据非常多，要从海量的数据中高效提取出目标数据用于数据分析、人工智能、甚至抄袭同类产品(参考今日头条)。 OK，高效提取出目标数据就是爬虫的意义 阅读全文

摘要： 参考 https://www.cnblogs.com/hyit/articles/7574654.html 通用分页插件 这里采用通用分页插件，原因： 1.使用方便 2.其它web框架也能使用 效果图 步骤 1.新建一个目录utils,在其下面新建文件pager.py class PageInfo( 阅读全文

摘要： why 设计orm就是为了 1.简化操作数据的语法（原生sql语句真的有点复杂） 2.不同水平的人写的sql语句执行效率天差地别。 orm与表的关系 ORM的对应关系: 类 > 数据表 对象 > 数据行 属性 > 字段 ORM详细步骤 settings默认使用的数据库是sqlite3，其实orm一套 阅读全文

摘要： why app和python的函数、 类一样，封装功能用的，不过app是django的 说白一点就是，把不同功能view单独封装起来，这样更清晰，仅此而已啦 创建app django相关的命令格式： python manage.py + 命令 如果你想偷懒，你可以这样，pycharm的这个功能，可以 阅读全文

摘要： 下载bootstrap bootstrap是一个前端框架，有很多已经做好的比较好看的css js效果，如果你前端想快点写好（或者你前端写的不是很漂亮），可以借助这个框架 bootstrap (http://www.bootcss.com/）下载bootstrap源码，放到djagno的static目 阅读全文

摘要： 准备Linux系统 安装deepin 这里选择deepin，桌面Linux系统推荐这款，特别是装在vmware下 可以采用本地部署和服务器部署，其实一样，我这里就在虚拟机里部署 这里采用虚拟机是vmware(你也可以用virtualbox等)，由于Linux安装不是本文重点，因此不做重点介绍，请参考 阅读全文