上一页 1 2 3 4 5 6 7 ··· 11 下一页
摘要: CrawlSpider CrawlSpider其实是Spider的一个子类,除了继承到Spider的特性和功能外,还派生除了其自己独有的更加强大的特性和功能。其中最显著的功能就是”LinkExtractors链接提取器“。Spider是所有爬虫的基类,其设计原则只是为了爬取start_url列表中网 阅读全文
posted @ 2018-10-08 11:19 luck_L 阅读(121) 评论(0) 推荐(0) 编辑
摘要: Scrapy框架初级 什么是Scrapy Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,非常出名,非常强悍。所谓的框架就是一个已经被集成了各种功能(高性能异步下载,队列,分布式,解析,持久化等)的具有很强通用性的项目模板。对于框架的学习,重点是要学习其框架的特性、各个功能的用法 阅读全文
posted @ 2018-10-08 10:03 luck_L 阅读(135) 评论(0) 推荐(0) 编辑
摘要: 图片懒加载 抓取伪属性 selenium from selenium import webdriver from time import sleep # 后面是你的浏览器驱动位置,记得前面加r'','r'是防止字符转义的 driver = webdriver.Chrome(r'驱动程序路径') # 阅读全文
posted @ 2018-09-27 17:21 luck_L 阅读(296) 评论(0) 推荐(0) 编辑
摘要: Python网络爬虫之数据解析方式 正则解析 xpath解析 阅读全文
posted @ 2018-09-26 23:20 luck_L 阅读(319) 评论(0) 推荐(0) 编辑
摘要: 爬虫基础 爬虫相关概念简介 http和https协议 阅读全文
posted @ 2018-09-25 21:17 luck_L 阅读(212) 评论(0) 推荐(0) 编辑
摘要: 功能分析: 1 登陆功能(基于ajax,图片验证码) 2 注册功能(基于ajax,基于forms验证) 3 博客首页 4 个人站点 5 文章详情 6 点赞,点踩 7 评论 --根评论 --子评论 8 后台管理 --文章展示 9 发布文章 --富文本编辑器 --防止xss攻击UserInfo(Abst 阅读全文
posted @ 2018-09-19 20:47 luck_L 阅读(192) 评论(0) 推荐(0) 编辑
摘要: 中间件 1.什么是中间件 2.中间件的作用 3.自定义中间件 4.中间件应用场景 5.CSRF_TOKEN跨站请求伪造 注释掉中间件 'django.middleware.csrf.CsrfViewMiddleware', Auth模块 1.Auth模块常用方法 2.User对象的属性 3.扩展默认 阅读全文
posted @ 2018-09-17 20:35 luck_L 阅读(618) 评论(0) 推荐(0) 编辑
摘要: 本地库相关 1. cd /f/git 切换路径 2. mkdir test 创建文件 3. git init 初始化文件 4. vim a.py 开发py文件 5. git add a.py 把a.py文件保存在暂存区 6. git status 查看文件的状态 7. git commit -m ' 阅读全文
posted @ 2018-09-16 17:08 luck_L 阅读(171) 评论(0) 推荐(0) 编辑
摘要: 分页器 分页器对象 page对象 views中 html中 form组件 模板层 views层 html中 阅读全文
posted @ 2018-09-16 16:20 luck_L 阅读(1478) 评论(0) 推荐(0) 编辑
摘要: cookie 参数 key value max_age=None, 超时时间 cookie需要延续的时间(以秒为单位)如果参数是\ None`` ,这个cookie会延续到浏览器关闭为止 expires=None, 超时时间(IE requires expires, so set it if has 阅读全文
posted @ 2018-09-13 17:26 luck_L 阅读(114) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 ··· 11 下一页