摘要: 1、图片懒加载 1.1 概念及实现原理 图片懒加载是一种网页优化技术。图片作为一种网络资源,在被请求时也与普通静态资源一样,将占用网络资源,而一次性将整个页面的所有图片加载完, 将大大增加页面的首屏加载时间。为了解决这种问题,通过前后端配合,使图片仅在浏览器当前视窗内出现时才加载该图片,达到减少首屏 阅读全文
posted @ 2018-10-15 20:52 朝朝哥 阅读(936) 评论(0) 推荐(0) 编辑
摘要: 1. 正则解析 正则例题 糗图下载案例 2. xpath 2.1 格式 3.bs4解析 环境安装 用法 阅读全文
posted @ 2018-10-15 20:50 朝朝哥 阅读(500) 评论(0) 推荐(0) 编辑
摘要: 1. CrawlSpider简介与创建 CrawlSpider其实是Spider的一个子类,Spider是所有爬虫的基类,其设计原则只是为了爬取start_url列表中网页,而从爬取到的网页中提取出的url进行继续的爬取工作使用CrawlSpider更合适。 项目创建 2. 剖析生成爬虫文件 阅读全文
posted @ 2018-10-15 20:49 朝朝哥 阅读(278) 评论(1) 推荐(0) 编辑
摘要: 1. 基本使用 1.1 定义及安装 为了爬取网站数据,提取结构性数据而编写的应用框架 scrapy组件工作流程 安装 1.2 项目创建 1.3 爬取糗百作者和标题(get请求) 1.4 校花网图片链接及图片名爬取 1.5 百度翻译post请求案例 1.6 获取二级子页面内容(请求传参) 阅读全文
posted @ 2018-10-15 20:48 朝朝哥 阅读(240) 评论(0) 推荐(0) 编辑
摘要: 1. 爬虫相关概念 1.1 定义 爬虫就是通过编写程序模拟浏览器上网,然后让其去互联网上抓取数据的过程 1.2 主流语言实现爬虫优劣 php:可以实现爬虫。但是php在实现爬虫中支持多线程和多进程方面做的不好 java:可以实现爬虫。java可以非常好的处理和实现爬虫,是唯一可以与python并驾齐 阅读全文
posted @ 2018-10-15 20:46 朝朝哥 阅读(904) 评论(0) 推荐(0) 编辑
摘要: 1.Mysql 概念 1.1 定义 1.2 相关概念 2. 基本操作 2.1 文件夹(库) 2.2 文件(表) 2.3 文件一行行内容(记录) 阅读全文
posted @ 2018-10-15 20:26 朝朝哥 阅读(136) 评论(0) 推荐(0) 编辑