摘要：
前言：前段时间将hadoop01的虚拟机弄的崩溃掉了，也没有备份，重新从hadoop02虚拟上克隆过来的，结果hadoop-eclipse插件一样的编译，居然用不起了，找了3天的原因，最后还是没有解决，只能用hadoop shell 命令去测试了，反正影响不大，只不过用着不方便而已。 心累中.... 阅读全文
摘要：
下载：apache-zookeeper-3.5.5.tar.gz进入zookeeper安装目录查看lib文件夹和zookeeper-3.5.5.jar是否存在，如果没有需要手动添加，不然启动时会报错。注：启动失败时，可以进入out.log日志进行查看错误原因[hadoop@hadoop01 apac 阅读全文
摘要：
前言：安装hive还是遇见些问题，但还好都解决了，比当初安装配置hadoop-3.2.0容易点。。。。。。 正文： 1、下载并安装hive：tar -zxvf apache-hive-3.1.2-bin.tar.gz2、查看hive安装情况：[root@hadoop01 hadoop]# cd ap 阅读全文
摘要：
centos7使用的MariaDB，替代了早期版本默认的MySQL。MariaDB是MySQL的一个分支，由开源社区维护，采用GPL授权许可，且MariaDB完全贱人MySQL。检查centos7下现有的MariaDB安装包：[hadoop@hadoop01 ~]$ rpm -qa| grep ma 阅读全文
摘要：
前言：中秋节有事外加休息了一天，今天晚上重新拾起Hadoop，但感觉自己有点烦躁，不知后续怎么选择学习Hadoop的方法。 干脆打开电脑，决定： 1、先将Hadoop的MapReduce和Yarn基本原理打扎实了再说，网上说的边画图边记得效果好点； 2、有时间就多看看Java和Python的基础知识 阅读全文
摘要：
前言：今天刚开始看到map和reduce类里面的内容时，说实话一片迷茫，who are you?，最后实在没办法，上B站看别人的解说视频，再加上自己去网上查java的包的解释，终于把WordCount例子看懂，准备后面自己写一遍！实话说，现在实在肝不动了，每天只有晚上有点时间来学习，代码贴上来，睡觉 阅读全文
摘要：
序：本以为今天花点时间将WordCount例子完全理解到，但高估自己了，更别说我只是在大学选修一学期的java，之后再也没碰过java语言了 总的来说，从宏观上能理解具体的程序思路，但具体到每个代码有什么作用，什么原理，那还需要花点时间，毕竟需要一点java基础和hadoop的运行机制的知识 首先启 阅读全文
摘要：
纪念一下，时隔多年，继delphi上成功运行sql之后，在linux上用eclipse成功运行Wordcount程序，不容易呀，折腾了十几天 但我知道，这仅仅是我学习大数据的一个开始，仅此纪念一下，不悔这次决定！！！ 阅读全文
摘要：
2019-09-02 23:35:22 前言：首先，我想吐槽下自己，居然花费了4到5个夜晚和中午的时间来做这件事情，直到刚才才顺利解决，我也挺佩服自己的！ 我在这个过程中参考其他人的博客，非常感谢他们，写博客是个很好的习惯，警戒自己也帮助他人！ 正文： 1、你需要下载3种必备品：Hadoop、ecl 阅读全文
摘要：
import pandas as pd import numpy as np from time import time data=pd.read_csv("dankuan.csv",sep=';',index_col=0) #打开表 data.head() #查看前几行的数据,默认前5行 data.describe() #数据的快速统计汇总 data.g4_term_type.value_c... 阅读全文