摘要: ```python def get_paginator_data(paginator, current_page, around_count=3): """ :param paginator: 分页对象 :param current_page: 当前页数据 :param around_count: 显示的页码数 :return: 当前页码、总页数、左边是否有... 阅读全文
posted @ 2019-05-15 11:26 人生不易丶岁月静好 阅读(310) 评论(0) 推荐(0) 编辑
摘要: Django爬坑记录 背景:普通的django项目,一个新闻类的网站,前后端半分离。 问题描述:后端数据输出正常,但前端不显示数据 前端数据不显示 后端传数据正常 前端js也正常 问题解决:前端res响应未发现 阅读全文
posted @ 2019-04-25 17:17 人生不易丶岁月静好 阅读(2403) 评论(16) 推荐(0) 编辑
摘要: Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 其可以应用在数据挖掘,信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 阅读全文
posted @ 2019-04-22 11:14 人生不易丶岁月静好 阅读(139) 评论(0) 推荐(0) 编辑
摘要: GitHub管理 初始化和上传文件 1.登陆用户 2.创建GitHub仓库 3.上传GitHub仓库文件 阅读全文
posted @ 2019-04-22 09:31 人生不易丶岁月静好 阅读(252) 评论(0) 推荐(0) 编辑
摘要: 实例网站:易盾(http://dun.163.com/trial/picture click) 实例工具:webdriver + Chrome浏览器 模块:selenium,re,pillow(PIL),io,requests,time 超级接口模块 实例代码 阅读全文
posted @ 2019-04-18 22:15 人生不易丶岁月静好 阅读(246) 评论(0) 推荐(0) 编辑
摘要: 实例1:滑动验证码 实例网站:虎嗅(https://www.huxiu.com) 实例工具:webdriver + Chrome浏览器 模块:selenium,re,pillow(PIL),io,requests python from selenium import webdriver from 阅读全文
posted @ 2019-04-18 22:13 人生不易丶岁月静好 阅读(506) 评论(0) 推荐(0) 编辑
摘要: 实例网站:微博(https://login.sina.com.cn/sso/prelogin.php) 实例工具:requests 模块:re,io,requests,binascii,base64,json 阅读全文
posted @ 2019-04-18 22:10 人生不易丶岁月静好 阅读(318) 评论(0) 推荐(0) 编辑
摘要: 实例2:requests获取简书 模块:urllib.request,lxml.etree (xpath) 阅读全文
posted @ 2019-04-18 22:09 人生不易丶岁月静好 阅读(228) 评论(0) 推荐(0) 编辑
摘要: 实例1:urllib3获取简书首页 模块:re 、urllib.request 最基本的爬虫程序,因为前端存在ajax,所以如果需要全部数据还需模拟ajax,具体详见实例2 阅读全文
posted @ 2019-04-18 22:08 人生不易丶岁月静好 阅读(281) 评论(0) 推荐(0) 编辑
摘要: 第六章 请求与响应 1 HttpRequest 服务器接收到http协议的请求后,会根据报文创建HttpRequest对象视图函数的第一个参数是HttpRequest对象在django.http模块中定义了HttpRequest对象的API 属性: path:一个字符串,表示请求的页面的完整路径,不 阅读全文
posted @ 2019-03-01 16:33 人生不易丶岁月静好 阅读(126) 评论(0) 推荐(0) 编辑