摘要: Selenium介绍 起初是一个自动化测试工具;但是在爬虫上可以 用来解决 requests 无法直接执行 JavaScript 代码的问题。 本质:通过驱动浏览器,模拟浏览器的操作(跳转、点击、下拉等), 取到网页渲染之后的结果 注:支持多种浏览器;如:Chrome、Firefox、Phantom 阅读全文
posted @ 2019-12-05 15:58 速8赛亚人 阅读(184) 评论(0) 推荐(0) 编辑
摘要: Beautiful Soup 解析库 简称BS4;是一个可以从 HTML 或 XML 文件中提取数据的 python 库。 中文文档 https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html 安装 pip3 install 阅读全文
posted @ 2019-12-05 15:31 速8赛亚人 阅读(381) 评论(0) 推荐(0) 编辑
摘要: 爬虫的定义 向网站发起请求,获取资源后分析并提取 有用数据 (我们的爬虫程序只提取网页代码中对我们有用的数据) 爬虫的基本流程 1、发起请求 使用 http 库向目标站点发起请求,即发送一个 Request Request 包含:请求头、请求体等 注:selenium 也是经常用到的模块,可以解析 阅读全文
posted @ 2019-12-05 15:17 速8赛亚人 阅读(271) 评论(0) 推荐(0) 编辑
摘要: jupyter notebook 是基于ipthony 要是用jupyter notebook首先需要安装ipyhon ipython首先安装方法: pip3 install ipython jupyter notebook 的安装有两种方式: 1:命令行安装 pip3 install jupyte 阅读全文
posted @ 2019-12-04 21:36 速8赛亚人 阅读(261) 评论(0) 推荐(0) 编辑
摘要: Matplotlib 作图工具包,一般配合 numpy 和 pandas 一起使用 导入 import numpy as np import pandas as pd import matplotlib.pyplot as plt # 约定俗成 起别名 plt # 会出现警告,不是错 D:\User 阅读全文
posted @ 2019-12-04 21:24 速8赛亚人 阅读(262) 评论(0) 推荐(0) 编辑
摘要: 安装 pip3 install pandas 导入 import pandas as pd # 约定俗成 起别名为 pd Series Series 是一种类似于 一维数组的对象,由一组数据和一组与之相关的数据标签(索引)组成 创建: 第一种: pd.Series([4,5,6,7,8]) 执行结果 阅读全文
posted @ 2019-12-04 21:04 速8赛亚人 阅读(246) 评论(0) 推荐(0) 编辑
摘要: 模块的导入 import numpy as np > 约定俗成 起别名 np 使用 生成 ndarray 对象 array:np.array([1,2,3,4,5]) > array([1, 2, 3, 4, 5]) arange:np.arange(10) > array([0, 1, 2, 3, 阅读全文
posted @ 2019-12-04 20:44 速8赛亚人 阅读(331) 评论(0) 推荐(0) 编辑
摘要: 摘自:https://www.cnblogs.com/TM0831/p/10606624.html 一、MongoDB简介 MongoDB是一个基于分布式文件存储的数据库,由C++语言编写,旨在为WEB应用提供可扩展的高性能数据存储解决方案。 MongoDB将数据存储为一个文档,数据结构由键值(ke 阅读全文
posted @ 2019-11-28 21:17 速8赛亚人 阅读(220) 评论(0) 推荐(0) 编辑
摘要: 1. 视图 什么是视图? 一个查询语句的结果是一张虚拟表,将这种虚拟表保存下来 它就变成了一个视图 为什么要用视图? 当频繁需要用到多张表的连表结果,你就可以事先生成好视图 之后直接调用即可,避免了反复写连表操作的 sql 语句 创建视图表语法: create view teacher_course 阅读全文
posted @ 2019-08-27 20:56 速8赛亚人 阅读(1435) 评论(0) 推荐(0) 编辑
摘要: Python 代码操作 MySQL SQL 注入问题 不要手动去拼接查询的 sql 语句 !!! sql 注入:就是利用注释等具有特殊意义的符号 来完成一些骚操作 后续写 sql 语句 不要手动拼接关键性的数据 而是让 excute 帮你去做拼接 阅读全文
posted @ 2019-08-23 19:20 速8赛亚人 阅读(203) 评论(0) 推荐(0) 编辑