摘要:
MapReducer运行过程 以单词统计为案例。 假如现在文件中存在如下内容: aa bb aa cc dd aa 当然,这是小文件,如果文件大小较大时会将文件进行 “切片” ,此处的切片和 HDFS 的 “分块”概念不同。 “切片” 是将文件进行逻辑的划分,而 “分块” 是进行物理的划分。 即 “ 阅读全文
摘要:
环境准备 windows需要配置hadoop的windows下的依赖 安装包地址: 链接:https://pan.baidu.com/s/1QtbH-x-S0QytkmaoSosdEw 提取码:2ktw 将安装包解压至自己所选择的目录,然后配置环境变量: HADOOP_HOME : 解压的目录 PA 阅读全文
摘要:
修改网络配置(ip等) VWware右上角,选择编辑 虚拟网络编辑器 可以看到子网ip是 192.168.1.0,那么我们分配ip地址就可以从此ip段开始。 再点击NAT设置 这里的网关我们稍后会用到 输入命令: vim /etc/sysconfig/network-script/ifcfg-ent 阅读全文
摘要:
安装VMware 15 这里就不介绍VMware如何安装了,可以自行百度安装。 准备centos7镜像 我选择的是网易的镜像源,地址是:http://mirrors.163.com/centos/7/isos/x86_64/ 选择第二个进行下载 安装向导 VMware选择创建虚拟机 自定义 硬件兼容 阅读全文
摘要:
以vi打开一个文件就是一般模式,这个模式可以删除、复制、粘贴 yy 复制当前一行 y 数字y 复制几行(从光标位置开始) p 粘贴 u 恢复到最初的状态 dd 删除一行 d 数字 d 删除几行 x 向后删除一个字母 X 向前删除一个字母 shift+^ 移到行头 shift+$ 移动到行尾 gg 移 阅读全文
摘要:
本周学习了数据分析的另一个工具pandas,初步了解了pandas的应用和功能。 阅读全文
摘要:
本周继续学习了numpy,了解了一些常用的操作,并学会了使用numpy读取外部数据的方法。 阅读全文
摘要:
本周学习了python的数据分析中的另一个重要的工具numpy,学习了numpy的数组的相关知识。 阅读全文
摘要:
本周学习了python的数据分析相关的知识,学习了python库matplotlib的作图方法,有折线图、散点图、条形图、直方图等。 阅读全文
摘要:
所花时间 4个小时。 代码量 500行。 博客量 0篇。 学到的知识点 安卓混淆 上线前的加固 阅读全文