最冷不过冬夜

2020年9月19日

摘要： selenium模块能够帮你自动操作浏览器 selenium最初是一个自动化测试工具而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持阅读全文

posted @ 2020-09-19 03:07 最冷不过冬夜阅读(232) 评论(0) 推荐(1) 编辑

爬虫——IP代理池与BeautifulSoup模块

摘要： IP代理池的概念及使用 1.有很多网站在防爬措施上面都加了封禁IP的措施一旦我的网站发现某一个IP在固定的时间内访问了很多次(一分钟访问了30次)，那么我会直接获取到该请求对应的主机IP地址,然后加入网站的黑名单刚请求来访问我的网站的时候我会先去黑名单中查看当前请求的ip在不在如果在直接拒绝如阅读全文

posted @ 2020-09-19 02:50 最冷不过冬夜阅读(316) 评论(0) 推荐(0) 编辑

爬虫——requests模块

摘要： requests模块 requests模块能够模拟浏览器发送请求比urllib模块更加的方便该模块不是自带的模块需要提前下载 pip3 install requests # 如果你下载的模块想指定版本需要在模块名的后面加两个等号 # pip3 install django==1.11.11 阅读全文

posted @ 2020-09-19 02:20 最冷不过冬夜阅读(197) 评论(0) 推荐(0) 编辑

爬虫简介

摘要：爬虫简介我们一般情况都是通过浏览器正常访问服务端获取资源浏览器展示给用户看爬虫模拟浏览器发送请求获取网页源数据内部自动解析处理(目标数据) 存放于数据库中不夸张的概括一下互联网就像是蜘蛛网，而爬虫就像是网上的蜘蛛理论情况下只要给我们一个落脚点，我们就可以顺着互联网将互联网上面的所有阅读全文

posted @ 2020-09-19 01:43 最冷不过冬夜阅读(146) 评论(0) 推荐(0) 编辑

2020年9月16日

爬虫——爬取梨视频

摘要： import requests # 导入爬虫模块 import re # 导入正则模块 import os # 导入文件操作模块 a = 1 # 主程序判断结束的锚 start = 0 # 记录爬取位置 # 主程序循环 while a: v = [] # 存放视频地址 # 拼接地址，爬取网页内容 u 阅读全文

posted @ 2020-09-16 17:05 最冷不过冬夜阅读(434) 评论(7) 推荐(1) 编辑

爬虫——华华手机登录

摘要： import requests # 导入模块 # 请求体 data = { 'username': '***********@qq.com', 'password': '**********', 'captcha': 'pnvu', 'remember': 1, 'ref':'http://www. 阅读全文

posted @ 2020-09-16 17:04 最冷不过冬夜阅读(237) 评论(0) 推荐(0) 编辑

2020年9月13日

数据操作及清洗

摘要：数据操作 read_csv # 从文件、url或者文件型对象读取分割好的数据，逗号是默认分隔符 read_excel # 从Excel的XLS或者XLSX文件读取表格信息 read_hdf # 读取pandas写的HDF5文件 read_html # 从HTML文件中读取所有表格数据 read_js 阅读全文

posted @ 2020-09-13 17:43 最冷不过冬夜阅读(398) 评论(0) 推荐(0) 编辑

2020年9月9日

Matplotlib数据图形化模块

摘要： Matplotlib模块可以将numpy pandas里面的数据用图形化的展示出来是一个强大的python绘图和数据可视化工具包，数据可视化也是我们数据分析重要环节之一，可以帮助我们分析出很多价值信息，也是数据分析的最后一个可视化阶段导入语句 # 下载 pip3 install matplo 阅读全文

posted @ 2020-09-09 16:32 最冷不过冬夜阅读(141) 评论(0) 推荐(0) 编辑

2020年9月8日

Pandas模块下——DataFrame类型

摘要：数据结构之DataFrame 表格型数据结构，相当于一个二维数组，含有一组有序的列也可以看作是由Series组成基本使用 # 创建DataFrame有很多中方式，但是一般情况下我们都不需要自己创建DataFrame而是将excel文件直接导入成DataFrame # 方式1 传字典。字典的键会变成阅读全文

posted @ 2020-09-08 23:41 最冷不过冬夜阅读(286) 评论(0) 推荐(0) 编辑

2020年9月6日

Pandas模块上——Series类型

摘要： Pandas模块 1.非常强大的python数据分析包 2.基于numpy构建的所以你学习起来会有一种似曾相识的感觉 3.pandas奠定了python在数据分析领域的一哥地位主要功能 1 具有两大非常灵活强大的数据类型 Series DataFrame 2.集成时间模块 3.提供丰富的数学运算阅读全文

posted @ 2020-09-06 20:20 最冷不过冬夜阅读(279) 评论(0) 推荐(0) 编辑

最冷不过冬夜

公告