摘要: 前两天请假了,公司的很多app突然挂掉了,说是mongodb莫名的挂掉了,赶紧进去看了看日志:2015-08-31T14:06:20.070+0800 [initandlisten] ERROR: Insufficient free space for journal files2015-08-3... 阅读全文
posted @ 2015-09-06 09:19 猪头强 阅读(1805) 评论(0) 推荐(0) 编辑
摘要: 经过一下午的尝试,终于把这个集群的搭建好了,搭完感觉也没有太大的必要,就当是学习了吧,为之后搭建真实环境做基础。以下搭建的是一个Ha-Federation-hdfs+Yarn的集群部署。 首先讲一下我的配置: 四个节点上的启动的分别是: 1.qiang117:active namenode, ... 阅读全文
posted @ 2015-08-23 23:06 猪头强 阅读(994) 评论(0) 推荐(0) 编辑
摘要: ssh免密码登陆 阅读全文
posted @ 2015-08-19 00:03 猪头强 阅读(3436) 评论(0) 推荐(0) 编辑
摘要: 那玩大数据,想做个大数据的从业者,必须了解在生产环境下搭建集群哇?由于hadoop是apache上的开源项目,所以版本有些混乱,听说都在用Cloudera的cdh5来弄?后续研究这个吧,就算这样搭建不适合真实环境,也算是了解hadoop的一些基本东西了。 搭建之前要做一些前期的准备,如果买不起... 阅读全文
posted @ 2015-08-14 11:16 猪头强 阅读(408) 评论(0) 推荐(0) 编辑
摘要: 之前看了很多理论上的知识,感觉云里雾里的,所以赶紧着手搭建个单机版的hadoop跑一跑,开启自学大数据技术的第一步~~ 1.在开源的世界里,我就是个土豪,要啥有啥,所以首先你得有个jdk,有钱所以用最新的java8,hadoop使用的是hadoop2.6.0。 2.配置好java后,可以在/etc/... 阅读全文
posted @ 2015-08-12 10:18 猪头强 阅读(315) 评论(4) 推荐(0) 编辑
摘要: 搭建好集群之后,为了扩容需要再加入一个节点。那就再复制一个7006,改为相应的redis.conf(复制了改个port就好,如果复制的redis之前属于集群,需要把关联的node.conf之类的去掉)[root@localhost 7006]# vim redis.conf [root@localh... 阅读全文
posted @ 2015-07-27 18:08 猪头强 阅读(736) 评论(0) 推荐(0) 编辑
摘要: 简单说下自己测试搭建简单的redis集群的大体步骤:1.首先你的有6个redis(官方说最少6个,3master,3slave),可以先在一台机器上搭建,搭建到多台上应该只需要改变启动命令即可(可能需要一些ssh无密钥什么的,只是猜测)在网上随便可以找到的配置多个redis,(总体有两种方式,一种是... 阅读全文
posted @ 2015-07-20 14:35 猪头强 阅读(10158) 评论(9) 推荐(1) 编辑