随笔分类 - 分布式
摘要：由于Hadoop需要运行在Linux环境中，而且是分布式的，因此个人学习只能装虚拟机，本文都以VMware Workstation为准，安装CentOS7，具体的安装此处不作过多介绍，只作需要用到的知识介绍。 VMware的安装，装好一个虚拟机后利用复制虚拟机的方式创建后面几个虚拟机，省时省力，需要
阅读全文
摘要：系统操作 #使用shutdown命令马上重启系统[root@H32 ~]# shutdown –r now #使用shutdown命令马上关闭系统[root@H32 ~]# shutdown –h now #使用shutdown命令设置在15分钟以后自动重启系统[root@H32 ~]# shutd
阅读全文
摘要：在互联网的世界中数据都是以TB、PB的数量级来增加的，特别是像BAT光每天的日志文件一个盘都不够，更何况是还要基于这些数据进行分析挖掘，更甚者还要实时进行数据分析，学习，如双十一淘宝的交易量的实时展示。 大数据什么叫大？4个特征： 体量化 Volume，就是量大。 多样化 Variety，可能是结构
阅读全文
摘要：我们知道如果要向远程服务器传输数据和操作必须输入用户名和密码远程登录服务器 ，或用ＦＴＰ等协议，都需要权限控制。 然而如果是两台服务器间的软件需要通讯和数据传输，如hadoop集群中机器互访，是不是每次也要输入用户名和密码？那是不是很麻烦？下面介绍SSH来解决这个问题（不是JAVA中的SSH概念）
阅读全文
摘要：今天要介绍的是消息中间件KafKa，应该说是一个很牛的中间件吧，背靠Apache 与很多有名的中间件搭配起来用效果更好哦 ，为什么不用RabbitMQ，因为公司需要它。 网上已经有很多怎么用和用到哪的内容，但结果很多人都倒在了入门第一步 环境都搭不起来，可谓是从了解到放弃，所以在此特记录如何在lin
阅读全文
