上一页 1 2 3 4 5 6 7 8 ··· 14 下一页
摘要: requests模块数据解析 数据解析最根本的作用:定位到某个标签,并获取该标签的文本或者属性 解析:根据指定的规则对数据进行提取 作用:实现聚焦爬虫 聚焦爬虫的编码流程: 指定url 发起请求 获取响应数据 数据解析 持久化存储 数据解析的方式: 正则 bs4 xpath 通用原理: 1.标签定位 阅读全文
posted @ 2020-06-09 11:55 Hedger_Lee 阅读(365) 评论(0) 推荐(0) 编辑
摘要: 移动端爬取数据的流程 1.基于一款抓包工具 fiddler(使用) 青花瓷 miteproxy 2.对fiddler进行配置 允许远程移动端进行连接 tools->options->connection->allow remote ... 允许抓取https请求,安装证书 3.证书下载 PC端:ht 阅读全文
posted @ 2020-06-09 11:30 Hedger_Lee 阅读(269) 评论(0) 推荐(0) 编辑
摘要: python模拟数据结构模型 模拟栈 Stack() 创建一个空的新栈。 它不需要参数,并返回一个空栈。 push(item)将一个新项添加到栈的顶部。它需要 item 做参数并不返回任何内容。 pop() 从栈中删除顶部项。它不需要参数并返回 item 。栈被修改。 peek() 从栈返回顶部项, 阅读全文
posted @ 2020-06-09 11:02 Hedger_Lee 阅读(226) 评论(0) 推荐(0) 编辑
摘要: timeit模块 用途:用来测试一段python代码的执行速度 Timer类 该类是timeit模块中专门用于测量python代码的执行速度/时长的。 from timeit import Timer Timer(stmt='pass',setup='pass') ('test01()',setup 阅读全文
posted @ 2020-06-09 10:44 Hedger_Lee 阅读(108) 评论(0) 推荐(0) 编辑
摘要: python中操作Redis redis模块下载 pip install redis from redis import Redis conn = Redis(host='127.0.0.1',port=6379) self.conn.lpush('key',value) 注意点:redis如何存入 阅读全文
posted @ 2020-06-08 21:14 Hedger_Lee 阅读(118) 评论(0) 推荐(0) 编辑
摘要: 事务和锁的简易操作 begin; # 开启事务 select * from emp where id = 1 for update; # 查询id值,for update添加行锁; update emp set salary=10000 where id = 1; # 完成更新 commit; # 阅读全文
posted @ 2020-06-08 21:04 Hedger_Lee 阅读(153) 评论(0) 推荐(0) 编辑
摘要: 数据库的备份和恢复 数据库的备份 #语法: # mysqldump -h 服务器 -u用户名 -p密码 数据库名 > 备份文件.sql #示例: #单库备份 mysqldump -uroot -p123 db1 > db1.sql mysqldump -uroot -p123 db1 table1 阅读全文
posted @ 2020-06-08 21:03 Hedger_Lee 阅读(109) 评论(0) 推荐(0) 编辑
摘要: python操作mysql pymysql的安装 pip install pymysql python连接数据库 基本使用: conn = pymysql.connect( host='localhost', user='root', password="root", database='db', 阅读全文
posted @ 2020-06-08 21:01 Hedger_Lee 阅读(100) 评论(0) 推荐(0) 编辑
摘要: 数据相关sql语句 插入数据insert 插入完整数据(顺序插入) 语法一: INSERT INTO 表名(字段1,字段2,字段3…字段n) VALUES(值1,值2,值3…值n); 语法二:默认顺序 INSERT INTO 表名 VALUES (值1,值2,值3…值n); 指定字段插入数据 INS 阅读全文
posted @ 2020-06-08 20:29 Hedger_Lee 阅读(123) 评论(0) 推荐(0) 编辑
摘要: 表的约束 约束条件都是可选的,主要有四类: # NOT NULL :非空约束,指定某列不能为空; # UNIQUE : 唯一约束,指定某列或者几列组合不能重复 # PRIMARY KEY :主键,指定该列的值可以唯一地标识该列记录 # FOREIGN KEY :外键,指定该行记录从属于主表中的一条记 阅读全文
posted @ 2020-06-08 19:15 Hedger_Lee 阅读(135) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 ··· 14 下一页