摘要：
Python标准库中提供了：urllib、urllib2、httplib等模块以供Http请求，但是，它的 API 太渣了。它是为另一个时代、另一个互联网所创建的。它需要巨量的工作，甚至包括各种方法覆盖，来完成最简单的任务。 Requests 是使用 Apache2 Licensed 许可证的 基于 阅读全文
摘要：
bxSlider下载+参数说明 “bxSlider”就是一款响应式的幻灯片js插件 bxSlider特性 充分响应各种设备，适应各种屏幕； 支持多种滑动模式，水平、垂直以及淡入淡出效果； 支持图片、视频以及任意html内容； 支持触摸滑动； 支持Firefox，Chrome，Safari，iOS，A 阅读全文
摘要：
1、进入官网 2、下载 官网下载：http://kindeditor.net/down.php 3、文件夹说明 1 2 3 4 5 6 7 8 9 10 11 12 13 14 ├── asp asp示例 ├── asp.net asp.net示例 ├── attached 空文件夹，放置关联文件a 阅读全文
摘要：
本节内容 需求讨论 权限设计 代码设计 自定义权限钩子 业务场景分析 假设我们在开发一个培训机构的 客户关系管理系统，系统分客户管理、学员管理、教学管理3个大模块，每个模块大体功能如下 客户管理销售人员可以录入客户信息，对客户进行跟踪，为客户办理报名手续销售人员可以修改自己录入的客户信息客户信息不能 阅读全文
摘要：
第一部分 Python基础篇（80题） 为什么学习Python？ 通过什么途径学习的Python？ Python和Java、PHP、C、C#、C++等其他语言的对比？ 简述解释型和编译型编程语言？ Python解释器种类以及特点？ 位和字节的关系？ b、B、KB、MB、GB 的关系？ 请至少列举5个 阅读全文
摘要：
因为现在很多网站为了限制爬虫，设置了为只有登录才能看更多的内容，不登录只能看到部分内容，这也是一种反爬虫的手段，所以这个文章通过模拟登录知乎来作为例子，演示如何通过scrapy登录知乎 在通过scrapy登录知乎之前，我们先通过requests模块登录知乎，来熟悉这个登录过程 不过在这之前需要了解的 阅读全文
摘要：
总架构理解Middleware 通过scrapy官网最新的架构图来理解： 这个图较之前的图顺序更加清晰，从图中我们可以看出，在spiders和ENGINE提及ENGINE和DOWNLOADER之间都可以设置中间件，两者是双向的，并且是可以设置多层. 关于Downloader Middleware我在 阅读全文
摘要：
爬虫与发爬虫的厮杀，一方为了拿到数据，一方为了防止爬虫拿到数据，谁是最后的赢家？ 重新理解爬虫中的一些概念 爬虫:自动获取网站数据的程序反爬虫：使用技术手段防止爬虫程序爬取数据误伤：反爬虫技术将普通用户识别为爬虫，这种情况多出现在封ip中，例如学校网络、小区网络再或者网络网络都是共享一个公共ip，这 阅读全文
摘要：
按照上一篇文章中我们将代码放到远程主机是通过拷贝或者git的方式，但是如果考虑到我们又多台远程主机的情况，这种方式就比较麻烦，那有没有好用的方法呢？这里其实可以通过scrapyd,下面是这个scrapyd的github地址：https://github.com/scrapy/scrapyd 当在远程 阅读全文
摘要：
在上一篇文章中主要写了关于爬虫过程的分析，下面是代码的实现，完整代码在：https://github.com/pythonsite/spider items中的代码主要是我们要爬取的字段的定义 这些字段的是在用户详细信息里找到的，如下图所示，这里一共有58个字段，可以详细研究每个字段代表的意思： 关 阅读全文