摘要：
缺失值处理 缺失值的识别与处理 df.isnull df.fillna df.dropna data05 = pd.read_excel(r'data_test05.xlsx') data05.head() 统计缺失 data05.isnull() # 统计每个数据项是否有缺失 data05.isn 阅读全文
摘要：
Series数据操作 增 res['a'] = 123 查 res.loc[1] 改 res[0] = 1 删 del res[0] 算术运算符 """ add 加(add) sub 减(substract) div 除(divide) mul 乘(multiple) """ sr1 = pd.Se 阅读全文
摘要：
pandas模块简介 基于Numpy构建 pandas的出现，让python语言成为使用最广泛而且最强道德数据分析语言。 pandas针对表格文件的操作有非常大的优势，尤其是数据量超过10万的。 pandas的主要功能 具备诸多功能的两大数据结构 Serise，DataFrame都是基于Numpy构 阅读全文
摘要：
numpy模块简介 nunpy是高性能科学计算和数据分析的基础包，也是pandas等其他数据分析工具的基础。 numpy具有多维数组功能，运算更加高效快速。 下载模块 在notebook中如果需要执行pip命令下载模块，只需要在命令行的开头加上一个感叹号即可 ！pip install numpy 在 阅读全文
摘要：
数据分析的概念 什么是数据分析 数据分析就是从现有数据中挖掘出价值 数据分析应用领域 商品推荐 例如：在淘宝上搜索了一款产品之后，接下来就会疯狂推荐相关产品 量化交易 例如：股票、期货等数据分析 短视频推送 例如：抖音、今日头条等短视频推荐 为什么数据分析要学习python 因为python简单易学 阅读全文
摘要：
思路 登录英雄页，每个英雄就是一个li标签，使用xpath获取 进入详情页，观察链接，发现只有英雄编号不同 可以从之前获取的li标签中获取到英雄编号 进入详情页，点击下方切换，发现图片链接所在位置以及链接的变化：数字从1开始变化，具体的数量可以使用count（&0）的方法获取 本次代码运行前需要配置 阅读全文
摘要：
文件操作补充 涉及到数据的嵌套查找，支持直接点键或者索引 db.t1.deleteOne({'addr.counytry':'Japan'}) db.t1.deleteOne({'hobby.1':'tea'}) 点键和点索引可以无限制地往下点 用户权限管理 涉及到用户权限相关，引号推荐全部使用双引 阅读全文
摘要：
目录 第1天： 了解爬虫与HTML 第2天： HTML标签与正则表达式 第3天： re模块与requests模块 第4天： 破解反爬虫方法1 第5天： 数据加载方式与实例操作 第6天： 爬虫解析库之bs4模块 第7天： 数据爬取实例演练 第8天： openpyxl模块 第8天： 梨视频多页视频数据爬 阅读全文
摘要：
selenium其他操作 获取属性 tag.get_attribute('src') 获取文本内容 tag.text 获取标签ID、位置、名称、大小 print(tag.id) print(tag.location) print(tag.tag_name) print(tag.size) 模拟浏览器 阅读全文
摘要：
爬取城市名称 热门城市名称 hot_city_names = tree.xpath('//div[@class="hot"]/div[2]/ul/li/a/text()') 一般城市名称 other_city_names = tree.xpath('//div[@class="all"]/div[2 阅读全文