摘要: 爬虫的分类 通用 聚焦 增量式 requests模块的作用 模拟浏览器发起请求 参数动态化 字典,键值就是请求携带的请求参数,需要作用到data/params 请求头伪装 User-Agent 请求载体的身份标识 UA监测(反爬机制) 动态加载数据 ajax,js(另外的一个请求帮我们请求到的一个数 阅读全文
posted @ 2020-06-09 20:35 赵刚、 阅读(220) 评论(0) 推荐(0) 编辑
摘要: requests """ 基于网络请求的模块。 环境的安装:pip install requests 作用:模拟浏览器发起请求 分析requests的编码流程: 1.指定url 2.发起了请求 3.获取响应数据 4.持久化存储 """ """ 处理数据量级的问题: 遇到了对应的反爬机制 反爬机制:U 阅读全文
posted @ 2020-05-26 20:51 赵刚、 阅读(751) 评论(0) 推荐(0) 编辑
摘要: linux上运行Python解释器 1.很重要,必须执行此操作,安装好编译环境,c语言也是编译后运行,需要gcc编译器golang,对代码先编译,再运行,python是直接运行 yum install gcc patch libffi-devel python-devel zlib-devel bz 阅读全文
posted @ 2020-05-11 23:51 赵刚、 阅读(1122) 评论(0) 推荐(0) 编辑
摘要: # LANGUAGE_CODE = 'en-us' LANGUAGE_CODE = 'zh-hans' # datetime.datetime.now() / datetime.datetime.utcnow() => utc时间 # TIME_ZONE = 'UTC' # datetime.dat 阅读全文
posted @ 2020-04-21 18:25 赵刚、 阅读(197) 评论(0) 推荐(0) 编辑
摘要: 正文: 首选创建一个新用户,用来登录Django管理网站,进入manage.py目录下,使用如下命令来进行创建: python manage.py createsuperuser 接下来输入用户名称: Username(leave bkank to use 'administrator'): roo 阅读全文
posted @ 2020-04-21 14:14 赵刚、 阅读(203) 评论(0) 推荐(0) 编辑
摘要: 获取cos上传临时凭证pip install -U cos-python-sdk-v5 # -*- coding=utf-8 # appid 已在配置中移除,请在参数 Bucket 中带上 appid。Bucket 由 BucketName-APPID 组成 # 1. 设置用户配置, 包括 secr 阅读全文
posted @ 2020-04-21 12:17 赵刚、 阅读(2048) 评论(0) 推荐(0) 编辑
摘要: Linux系统文件结构 /bin: bin是Binary的缩写, 这个目录存放着最经常使用的命令。 /boot: 这里存放的是启动Linux时使用的一些核心文件,包括一些连接文件以及镜像文件。 /dev : dev是Device(设备)的缩写, 该目录下存放的是Linux的外部设备,在Linux中访 阅读全文
posted @ 2020-04-21 12:09 赵刚、 阅读(128) 评论(0) 推荐(0) 编辑
摘要: Redis 特性 特性一:速度快 - 快的原因就是内存 数据存在内存中 特性二 持久化 - 断电不丢数据 Redis所有数据保存在内存中,对数据的跟新将异步地保存在磁盘上 redis 支持两种持久化方式,一种是 Snapshotting(快照)也是默认方式,另一种是 Append-only file 阅读全文
posted @ 2020-04-21 12:08 赵刚、 阅读(88) 评论(0) 推荐(0) 编辑
摘要: """ 使用流程 分页组件应用: 1. 在视图函数中 queryset = models.Issues.objects.filter(project_id=project_id) page_object = Pagination( current_page=request.GET.get('page 阅读全文
posted @ 2020-04-21 12:07 赵刚、 阅读(120) 评论(0) 推荐(0) 编辑
摘要: 五种排序算法 冒泡◾选择◾插入◾希尔◾快排 1.冒泡排序 •<>冒泡排序<> ◾将乱序列表中的最大值逐步找出,将最大值最终移动到最后的位置 def sort(alist): for i in range(0,len(alist)-1):#循环n-1次,n就是列表元素的个数 if alist[i] > 阅读全文
posted @ 2020-04-13 21:09 赵刚、 阅读(138) 评论(0) 推荐(0) 编辑
摘要: 顺序查找 当数据存储在诸如列表的集合中时,我们说这些数据具有线性或顺序关系。 每个数据元素都存储在相对于其他数据元素的位置。 由于这些索引值是有序的,我们可以按顺序访问它们。 这个过程产实现的搜索即为顺序查找。 - 顺序查找原理剖析: - 从列表中的第一个元素开始,我们按照基本的顺序排序,简单地从一 阅读全文
posted @ 2020-04-13 16:20 赵刚、 阅读(107) 评论(0) 推荐(0) 编辑
摘要: 二叉树 -根节点 -左右叶子节点 -子树: -不完整的子树 -完整的子树 - 结论: - 一颗子数最少要包含一个根节点 - 一个完整的二叉树是由多个子树构成 - 一个子树的子节点也可以表示另一个子树的根节点 遍历 ###遍历 -广度遍历:逐层遍历 -深度遍历:纵向遍历,前中后表示的是子树中根节点的位 阅读全文
posted @ 2020-04-13 11:54 赵刚、 阅读(483) 评论(0) 推荐(0) 编辑
摘要: Cookie的由来 大家都知道HTTP协议是无状态的。 无状态的意思是每次请求都是独立的,它的执行情况和结果与前面的请求和之后的请求都无直接关系,它不会受前面的请求响应情况直接影响,也不会直接影响后面的请求响应情况。 一句有意思的话来描述就是人生只如初见,对服务器来说,每次的请求都是全新的。 状态可 阅读全文
posted @ 2020-04-12 21:02 赵刚、 阅读(182) 评论(0) 推荐(0) 编辑
摘要: ### 内存 - 计算机的作用 - 存储和运算二进制的数据。 内存 计算机的作用 存储和运算二进制的数据。 问题:计算机如何计算1+2? 现将1和2(0010)进行存储 计算机会使用加法寄存器进行加法运算 变量的概念 引用==变量。变量就是我们为存储数据单独开辟的内存空间。 形象化理解内存(内存的大 阅读全文
posted @ 2020-04-12 20:15 赵刚、 阅读(958) 评论(0) 推荐(0) 编辑
摘要: 栈 特性: 先进后出的数据结构 应用场景: 浏览器的回退按钮 Stack() - 创建一个空的新栈.它不需要参数,并返回一个空栈. push(item) - 将一个新项添加到栈的顶部.他需要item 做参数并不返回任何内容 pop() - 从栈中删除顶部项.它不需要参数并返回item.栈被修改 is 阅读全文
posted @ 2020-04-10 21:41 赵刚、 阅读(207) 评论(0) 推荐(0) 编辑