10/12
今日考题
1.自我评价
哪里不足 有何缺陷 如何改进
昨天测验作为一阶段的总结我觉得 测试结果还是能够让我满意的 整体来说不管是理论题还是实操都能做出来
虽然理论题部分有遗忘 但是在经过老师话术的熏陶之后耳濡目染也能稍微掰扯些东西出来
对于这一个多月将近两个月的学习状况 我觉得自己后半程是有些许松懈的 爬虫和python基础部分做起来的速度明显优于SQL部分
可是爬虫是通过连续不断的训练才掌握的SQL上的熟练程度我觉得还是有待提高
毕竟知道要考试前一天疯狂的复习SQL部分才算是考试的时候能做出来 不过有些不常用的基本语句该怎么写还是忘了用了些中文搪塞过去
我觉得坚持是个很不错的事情 学习也好锻炼也是 做事会有惯性 只要连续几天认真学习 之后的状态就不会差
把所有自己能做的都做好 然后现在再回头看自己的进步感觉还是很震惊的
虽然我也知道课上学的东西很简单这些学完可能工作还是不会太好找 高薪更是艰难 但是入了门自己总能再学对以后的努力总算有了方向
这已经是对我一个垃圾三本的夕阳专业心理上莫大的救赎了
希望下一阶段能有python基础阶段的专注力 网络爬虫时候的钻研心 以及SQL时期复习的耐心
内容概要
- 数据分析概念
- 数据分析工作流程
- 数据分析三剑客
- ipython模块
- jupyter模块
- Anaconda软件使用
详细讲解
数据分析概念
# 数据分析是什么
从现有的数据里面挖掘出价值
# 数据分析能干什么
商品推荐: 谁都逃不过的大数据时代
淘宝的推荐
量化交易:
股票 期货 等数据操作
短视频推送:
B站推送的视频
数据分析工作流程
# 一下工作流程是一般情况下常见流程 也可能出现偏差
1.需求分析
搞明白到底要分析什么数据 以什么方式分析 想要什么结果
2.数据采集
数据的来源:
1.公司内部自带
直接调用即可
2.网络爬虫获取
写代码 爬虫相关技能
3.第三方服务
钞能力
3.数据清洗
针对获取到的数据校验是否符合分析条件
4.数据分析
选择相应的计算公式 算法模型分析数据
5.数据可视化
将复杂的数据用图标的形式展示出来便于查看相应规律
数据可视化一般是结合数据分析报告一起做的
数据分析三剑客
numpy
数学计算模块 该模块是许多计算模块的底层模块
pandas
数据分析最核心的模块之一 最主要就是用于操作excel
'''
既然excel软件可以非常轻松快捷的操作表格数据为什么还需要学pandas
当表格的数据低于10万行的时候采取excel软件操作方便
但是数据高于10万行之后使用excel软件就会出现卡顿不方便
所以pandas模块能够解决数据量较大的情况下的处理操作
'''
matplotlib
数据可视化
ipython模块
在cmd终端中可以编写python代码 但是存在以下缺陷
1.代码没有提示
2.代码不会自动缩进
3.通篇一个颜色过于单调
在cmd中编写代码是否可以解决掉上面多个缺陷
pip3 install ipython
打开cmd之后直接输入ipython进入全新的编程环境
1.代码有提示
2.代码自动缩进
3.通篇颜色不单调
jupyter模块
pip3 install jupyter
命令行输入jupyter notebook即可
会自动调用当前计算机默认的浏览器打开一个界面
如果你调用了非默认浏览器访问地址需要输入一个token值 在启动服务的展示信息中含有
打开的界面取决于终端输入jupyer notebook命令的左侧路径
这个模块就将一些电脑上的操作整合到了一个页面上
比如上面的NEW>>Terminal就是CMD窗口
右上方功能区域
upload用于上传任意类型的文件
new下拉框
python3用于创建notebook文件
Text File用于创建文本文件
Folder用于创建文件夹
Terminal用于模拟cmd终端
不过核心还是里面的NEW>>>python3
里面是基于ipython做的一个能写python代码的地方
notebook文件的后缀名是.ipynb 该文件无法以正常的双击直接打开
需要使用专门的notebook环境才可以打开并且查看内部的真实数据
# 以后看到该类型的文件就使用jupyter notebook打开
'''
但是这个jepyter模块有个很大的问题
数据分析过程中需要使用的模块都要自己再手动下载
而数据分析相关的模块不下200个
'''
Anaconda软件
去官网下载安装完成之后并不会在界面上生成图标 需要自己搜索打开
点击电脑左下方放大镜搜索anaconda navigator点击启动即可
# 内部集成了很多数据分析相关软件及功能 并且自动下载了接近300个数据分析相关模块
左侧菜单栏
Home
主要是一些已经准备好的软件 有直接可以使用和下载即可使用
Environments
里面主要包含数据分析相关的模块
Learning
里面含有大量的技术教程
Community
里面含有大量技术交流平台
Jupyter Notebook详细操作
"""
主界面点击jupyter notebook之后可能无法打开界面
因为计算机系统里有中文
打开cmd查看默认的路径是不是包含中文有就改掉
"""
# 熟记以下单词
cell 单元格 就是里面一个代码块
cut 剪切
copy 拷贝
paste 粘贴
above 在...上面
below 在...下面
replace 替换
delete 删除
undo 撤销 do做然后取反
split 切割
merge 合并
insert 插入
Kernel 内核
restart 重启
interrupt 断开
# 之后的指令名字就是这些单词的简单组合
模式管理
蓝色对应的是命令行模式、绿色对应的是编辑模式
模式怎么切换
编辑模式切换到命令行模式 按esc键 可以理解为退出编辑
命令行模式切换到编辑模块 鼠标左键点击即可
1.运行当前单元格
ctrl+enter
2.运行当前单元格并选中下方的单元格
shift+enter
3.如何书写md格式的标题
方式1:命令行模式下按m键 之后按照警号个数书写几级标题执行即可
方式2:编辑模式下先写文本 之后进入命令行模式按数字来控制几级标题
4.如何在当前单元格的下方新建一个单元格
命令行模式下按b键
5.如何在当前单元格的上方新建一个单元格
命令行模式下按a键
6.如何删除单元格
命令行模式下连续按两下d键
7.如何撤销删除
命令行模式下按z键
# 以上都是最常用的更多的就不一一列举
'''
通过Help >>> Keyboard Shortcuts可以查看
'''
