上一页 1 2 3 4 5 6 7 8 ··· 20 下一页
摘要: [TOC] 图片懒加载技术 一. 案例分析:抓取站长素材http://sc.chinaz.com/中的图片数据 !/usr/bin/env python coding:utf 8 import requests from lxml import etree if __name__ == "__mai 阅读全文
posted @ 2019-05-04 18:14 孔辉 阅读(1206) 评论(0) 推荐(0) 编辑
摘要: [TOC] 验证码处理 云打码平台处理验证码的实现流程: 1.对携带验证码的页面数据进行抓取 2.可以将页面数据中验证码进行解析,验证码图片下载到本地 3.可以将验证码图片提交给三方平台进行识别,返回验证码图片上的数据值 云打码平台: 1.在官网中进行注册(普通用户和开发者用户) 2.登录开发者用户 阅读全文
posted @ 2019-05-04 18:13 孔辉 阅读(267) 评论(0) 推荐(0) 编辑
摘要: [TOC] 基于requests模块的cookie,session和线程池爬取 有些时候,我们在使用爬虫程序去爬取一些用户相关信息的数据(爬取张三“人人网”个人主页数据)时,如果使用之前requests模块常规操作时,往往达不到我们想要的目的,例如: !/usr/bin/env python cod 阅读全文
posted @ 2019-05-04 18:12 孔辉 阅读(565) 评论(0) 推荐(0) 编辑
摘要: [TOC] 客栈遇到的问题 从开始学习编程后,我就想开一个 Hello World 餐厅,由于一开始资金不足,所以只能开一个古老的小客栈。 客栈运营了几天,我发现我们的客栈存在着一个问题 我们的厨师只负责炒菜,炒好了放在一边继续炒其他菜,所以店小二必须经常进出厨房,一方面看看菜到底炒好了没有,如果炒 阅读全文
posted @ 2019-04-22 22:04 孔辉 阅读(365) 评论(0) 推荐(0) 编辑
摘要: [TOC] Golang 爬虫案例实践 1. 爬虫步骤 1. 明确目标(确定在哪个网址搜索) 1. 爬(爬下数据) 1. 取(去掉没用的数据) 1. 处理数据(按具体业务去使用数据) 2. 正则表达式 文档:https://studygolang.com/pkgdoc API re := regex 阅读全文
posted @ 2019-04-20 19:08 孔辉 阅读(1016) 评论(0) 推荐(1) 编辑
摘要: [TOC] Django REST framework 解析器和渲染器 解析器 解析器的作用就是服务端接收客户端传过来的数据,把数据解析成自己可以处理的数据。本质就是对请求体中的数据进行解析。 在了解解析器之前,我们要先知道Accept以及ContentType请求头。 Accept是告诉对方我能解 阅读全文
posted @ 2019-04-14 18:34 孔辉 阅读(267) 评论(0) 推荐(0) 编辑
摘要: [TOC] Django REST framework 分页 DRF使用分页器 分页模式 rest framework中提供了三种分页模式: from rest_framework.pagination import PageNumberPagination, LimitOffsetPaginati 阅读全文
posted @ 2019-04-14 18:33 孔辉 阅读(353) 评论(0) 推荐(0) 编辑
摘要: [TOC] Django 分页 自定义分页 第一版 def publisher_list(request): 从URL中取当前访问的页码数 try: current_page = int(request.GET.get('page')) except Exception as e: 取不到或者页码数 阅读全文
posted @ 2019-04-14 17:48 孔辉 阅读(345) 评论(0) 推荐(0) 编辑
摘要: [TOC] Django Cookie和Session cookie Cookie的由来 大家都知道HTTP协议是无状态的。 无状态的意思是每次请求都是独立的,它的执行情况和结果与前面的请求和之后的请求都无直接关系,它不会受前面的请求响应情况直接影响,也不会直接影响后面的请求响应情况。 一句有意思的 阅读全文
posted @ 2019-04-14 17:47 孔辉 阅读(260) 评论(0) 推荐(0) 编辑
摘要: [TOC] Django ORM操作 一. 必知必会13条 all(): 查询所有结果 filter( kwargs): 它包含了与所给筛选条件相匹配的对象 get( kwargs): 返回与所给筛选条件相匹配的对象,返回结果有且只有一个,如果符合筛选条件的对象超过一个或者没有都会抛出错误。 exc 阅读全文
posted @ 2019-04-14 17:46 孔辉 阅读(606) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 ··· 20 下一页