摘要: selenium 模块的基本使用 问题:selenium 模块和爬虫之间具有怎样的关联? - 便捷的获取网站中动态加载的数据 - 便捷实现模拟登录什么是selenium模块? - 基于浏览器自动化的一个模块。selenium模块的使用流程: - 环境安装:pip install selenium - 阅读全文
posted @ 2020-09-07 17:21 lurkerzhang 阅读(1018) 评论(0) 推荐(0) 编辑
摘要: # _*_ coding:utf-8 _*_ """ @FileName :2.梨视频数据爬取.py @CreateTime :2020/8/26 0026 15:26 @Author : Lurker Zhang @E-mail : 289735192@qq.com @Desc. : 爬取梨视频音 阅读全文
posted @ 2020-08-26 18:43 lurkerzhang 阅读(201) 评论(0) 推荐(0) 编辑
摘要: 高性能异步爬虫目的:在爬虫中使用异步实现高性能的数据爬取操作异步爬虫的方式: - 多线程、多进程(不建议): 好处:可以为相关阻塞的操作单独开启多线程或进程,阻塞操作就可以异步执行; 弊端:无法无限制的开启多线程或多进程。 - 线程池、进程池(适当的使用): 好处:我们可以降低系统对进程或线程创建和 阅读全文
posted @ 2020-08-25 18:13 lurkerzhang 阅读(375) 评论(0) 推荐(0) 编辑
摘要: xpath解析知识点: - 最常用也是最便捷高效的一种解析方式 - xpath解析原理: - 1.实例化一个etree的对象,且需要将被解析的页面源码加载到对象中; - 2.调用etree中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获。 - 环境的安装: - pip instal 阅读全文
posted @ 2020-08-20 17:40 lurkerzhang 阅读(1605) 评论(0) 推荐(0) 编辑
摘要: 1、mysql -u root -p 登陆进MYSQL; 2、执行以下命令: GRANT ALL PRIVILEGES ON *.* TO 'your name'@'%' IDENTIFIED BY 'your password' WITH GRANT OPTION;FLUSH PRIVILEGES 阅读全文
posted @ 2019-04-16 23:01 lurkerzhang 阅读(196) 评论(0) 推荐(0) 编辑
摘要: 最常用 雅虎代码初始化 腾讯QQ官网样式初始化 新浪官网样式初始化 淘宝官网样式初始化 网易官网样式初始化 阅读全文
posted @ 2019-01-29 19:29 lurkerzhang 阅读(221) 评论(0) 推荐(0) 编辑
摘要: webstorm快键键 --> :下一个子标签 *:多少个标签 $:标签的名称序号 {}:标签的内容 --> p*6 ,按Tab键--> li*6>a[href=#]{HTML} 按tab键--> HTML HTML HT... 阅读全文
posted @ 2019-01-24 22:19 lurkerzhang 阅读(1010) 评论(0) 推荐(0) 编辑
摘要: 二、操作表 1、自行创建测试数据; 阅读全文
posted @ 2019-01-17 17:36 lurkerzhang 阅读(196) 评论(0) 推荐(0) 编辑
摘要: 先去python官网下载python3安装包 执行命令:wget https://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgz 安装zlib-devel包(后面安装pip需要用到,这里先下载,后面就不用重复编译) yum install zlib- 阅读全文
posted @ 2019-01-14 17:16 lurkerzhang 阅读(420) 评论(0) 推荐(0) 编辑
摘要: 一、知识点 1.三元运算 2.文件读取 3.python3 执行代码的过程 解释器找到代码文件,把代码字符串按文件头定义的编码加载到内存,转成unicode 把代码字符串按照语法规则进行解释 所有的变量字符都会以unicode编码声明 4.文件编解码规则: 5.智能检测文件数据编码: 6.函数定义 阅读全文
posted @ 2018-12-08 18:48 lurkerzhang 阅读(155) 评论(0) 推荐(0) 编辑