上一页 1 2 3 4 5 6 7 8 9 ··· 12 下一页
摘要: Python之禅 (The Zen of Python):是Python语言的指导原则,可以在Python命令行输入import this显示。 python 八荣八耻 阅读全文
posted @ 2018-07-18 16:35 争-渡 阅读(107) 评论(0) 推荐(1)
摘要: 相关资源 Django官方文档unittest文档 简单的例子 关于django的单元测试,需要知道的是 对于每一个测试方法都会将setUp()和tearDown()方法执行一遍 会单独新建一个测试数据库来进行数据库的操作方面的测试,默认在测试完成后销毁。 在测试方法中对数据库进行增删操作,最后都会 阅读全文
posted @ 2018-07-18 11:51 争-渡 阅读(270) 评论(0) 推荐(0)
摘要: 快速排序 快排思路 取一个元素p(第一个元素),使元素p归位; 列表被p分成两部分,左边都比p小,右边都比p大; 递归完成排序。 代码示例 阅读全文
posted @ 2018-07-17 13:09 争-渡 阅读(103) 评论(0) 推荐(0)
摘要: 冒泡排序 思路 首先,列表每两个相邻的数,如果前边的比后边的大,那么交换这两个数…… 时间复杂度 代码示例 选择排序 思路 一趟遍历记录最小的数,放到第一个位置; 再一趟遍历记录剩余列表中最小的数,继续放置; …… 时间复杂度 代码示例 插入排序 思路 列表被分为有序区和无序区两个部分。最初有序区只 阅读全文
posted @ 2018-07-17 11:30 争-渡 阅读(116) 评论(0) 推荐(0)
摘要: 使用二分查找法的前置条件 必须是一个已经排好序的数组 二分查找定义 从有序列表的候选区data[0:n]开始,通过对待查找的值与候选区中间值的比较,可以使候选区减少一半。 示例图 循环版二分查找法 递归版二分查找法 阅读全文
posted @ 2018-07-16 21:37 争-渡 阅读(150) 评论(0) 推荐(0)
摘要: 汉诺塔问题 由来: 大梵天创造世界的时候做了三根金刚石柱子,在一根柱子上从下往上按照大小顺序摞着64片黄金圆盘。 大梵天命令婆罗门把圆盘从下面开始按大小顺序重新摆放在另一根柱子上。 在小圆盘上不能放大圆盘,在三根柱子之间一次只能移动一个圆盘。 64根柱子移动完毕之日,就是世界毁灭之时。 问题解析: 阅读全文
posted @ 2018-07-16 20:42 争-渡 阅读(152) 评论(0) 推荐(0)
摘要: token及token验证 hmac模块 简介 HMAC是密钥相关的哈希运算消息认证码,HMAC运算利用哈希算法,以一个密钥和一个消息为输入,生成一个消息摘要作为输出 典型应用 HMAC的一个典型应用是用在“质疑/应答”(Challenge/Response)身份认证中。 认证流程: (1) 先由客 阅读全文
posted @ 2018-07-16 20:06 争-渡 阅读(451) 评论(0) 推荐(0)
摘要: Django项目开发完毕后,需要将代码放到服务器上,这样用户才能访问。接下来我们一步一步来进行一波部署操作。 Django项目部署步骤: 1、将需要部署的项目先压缩成.zip的压缩包 2、上传的服务器方法 3、安装python解释器 4、Django框架 报错:no module _sqlite3 阅读全文
posted @ 2018-07-11 17:26 争-渡 阅读(827) 评论(0) 推荐(0)
摘要: 基于Scrapy-redis去重 1、安装scrapy-redis 2、完全自定义redis去重原理 import redis from scrapy.dupefilter import BaseDupeFilter # 类似MD5值的一个数【如果url是一样的那么这个类似md5值的数也是一样的】 阅读全文
posted @ 2018-07-08 22:12 争-渡 阅读(1638) 评论(0) 推荐(0)
摘要: 框架Scrapy信号量 自定义扩展时,利用信号在指定位置注册制定操作 阅读全文
posted @ 2018-07-08 19:31 争-渡 阅读(179) 评论(0) 推荐(0)
摘要: 信号量 1、Flask框架中的信号基于blinker,其主要就是让开发者可是在flask请求过程中定制一些用户行为。 2. 内置信号 3、源码示例 class Flask(_PackageBoundObject): def full_dispatch_request(self): self.try_ 阅读全文
posted @ 2018-07-08 17:11 争-渡 阅读(140) 评论(0) 推荐(0)
摘要: Django信号量 Django中提供了“信号调度”,用于在框架执行操作时解耦。通俗来讲,就是一些动作发生的时候,信号允许特定的发送者去提醒一些接受者。 1、Django内置信号 对于Django内置的信号,仅需注册指定信号,当程序执行相应操作时,自动触发注册函数: from django.core 阅读全文
posted @ 2018-07-08 16:47 争-渡 阅读(121) 评论(0) 推荐(0)
摘要: 框架Scrapy自定制启动爬虫命令 1、在spiders同级创建任意目录,如:commands 2、在其中创建 crawlall.py 文件 (此处文件名就是自定义的命令) 3、在settings.py 中添加配置 COMMANDS_MODULE = '项目名称.目录名称' 4、在settings. 阅读全文
posted @ 2018-07-07 09:28 争-渡 阅读(198) 评论(0) 推荐(0)
摘要: Scrapy中间件 爬虫中间件 配置方法: 应用: 下载中间介件 配置方法: 应用: 阅读全文
posted @ 2018-07-07 09:08 争-渡 阅读(99) 评论(0) 推荐(0)
摘要: Redis 定义:Redis是一个软件,帮助开发者对一台机器的内存进行操作 安装redis软件方法: 超链接地址:https://www.cnblogs.com/L5251/articles/9146881.html Python中下载依赖包 测试Redis是否安装成功 # 1、引入redis # 阅读全文
posted @ 2018-07-05 20:03 争-渡 阅读(370) 评论(0) 推荐(0)
摘要: 框架Scrapy中的下载中间件 获取用户设定代理位置源码链接 request.py获取用户设置代理块逻辑 httpproxy.py[代理主逻辑源码] Scrapy内置代理设置方法: 代理要在爬虫开始运行时就设置好故设置在start_requests中 scrapy中设置代理 内置方法 在爬虫启动时, 阅读全文
posted @ 2018-07-05 10:25 争-渡 阅读(203) 评论(0) 推荐(0)
摘要: 框架Scrapy中爬虫深度控制 源码位置 源码解析 对深度的解释 阅读全文
posted @ 2018-07-04 22:50 争-渡 阅读(579) 评论(0) 推荐(0)
摘要: 框架Scrapy中起始url内部实现 源码解析 位置 源码: 自定制起始url 阅读全文
posted @ 2018-07-04 20:08 争-渡 阅读(380) 评论(0) 推荐(0)
摘要: 处理cookie # -*- coding: utf-8 -*- import scrapy from scrapy.selector import HtmlXPathSelector from scrapy.http.request import Request from scrapy.http. 阅读全文
posted @ 2018-07-04 16:27 争-渡 阅读(633) 评论(0) 推荐(0)
摘要: 框架Scrapy中去重源码 源码存储位置 去重源码解析 自定义去重规则 a.编写类【dupefilters.py】 b.settings.py文件中修改默认去重规则 c.爬虫类中对去重规则的控制 scrapy默认使用 scrapy.dupefilter.RFPDupeFilter 进行去重,相关配置 阅读全文
posted @ 2018-07-03 19:28 争-渡 阅读(1981) 评论(0) 推荐(0)
上一页 1 2 3 4 5 6 7 8 9 ··· 12 下一页