随笔 - 19  文章 - 0  评论 - 77  阅读 - 13万
 
摘要: 前言: 由于在平时的工作中,线上服务器是分布式多台部署的,经常会面临解决分布式场景下数据一致性的问题,那么就要利用分布式锁来解决这些问题。以自己结合实际工作中的一些经验和网上看到的一些资料,做一个讲解和总结。之前我已经写了一篇关于分布式锁的文章: 分布式锁1 Java常用技术方案 。上一篇文章中主要 阅读全文
posted @ 2017-06-03 19:11 Sky_YiBai 阅读(4327) 评论(10) 推荐(5) 编辑
 
摘要: 前言: 由于在平时的工作中,线上服务器是分布式多台部署的,经常会面临解决分布式场景下数据一致性的问题,那么就要利用分布式锁来解决这些问题。所以自己结合实际工作中的一些经验和网上看到的一些资料,做一个讲解和总结。希望这篇文章可以方便自己以后查阅,同时要是能帮助到他人那也是很好的。 长长的分割线 正文: 阅读全文
posted @ 2016-06-05 00:39 Sky_YiBai 阅读(52834) 评论(40) 推荐(63) 编辑
 
摘要: 前言: 工作中需要同步日志到hdfs,以前是找运维用rsync做同步,现在一般是用flume同步数据到hdfs。以前为了工作简单看个flume的一些东西,今天下午有时间自己利用虚拟机搭建了flume环境,并简单做了几个练习。学习过程中还是比较顺利的,现在将学习的过程记录与此,供以后自己查阅,如果能帮 阅读全文
posted @ 2016-03-19 23:27 Sky_YiBai 阅读(1923) 评论(0) 推荐(0) 编辑
 
摘要: 前言: 上周末自己学习了一下Kafka,参考网上的文章,学习过程中还是比较顺利的,遇到的一些问题最终也都解决了,现在将学习的过程记录与此,供以后自己查阅,如果能帮助到其他人,自然是更好的。 长长的分割线 正文: 关于Kafka的理论介绍,网上可以搜到到很多的资料,大家可以自行搜索,我这里就不在重复赘 阅读全文
posted @ 2015-09-29 11:51 Sky_YiBai 阅读(6043) 评论(0) 推荐(1) 编辑
 
摘要: 前言: 前段时间自己参考网上的文章,梳理了一下基于分布式环境部署的业务系统在解决数据一致性问题上的方案,其中有一个方案是使用ZooKeeper,加之在大数据处理中,ZooKeeper确实起到协调服务的作用,所以利用周末休息时间,自己在虚拟机上简单搭建了一个ZooKeeper集群,学习了解一下。 长长 阅读全文
posted @ 2015-09-20 16:46 Sky_YiBai 阅读(4688) 评论(0) 推荐(7) 编辑
 
摘要: 前言: 由于公司项目需要,最近开始学习一下分布式存储相关知识,确定使用FastDFS这个开源工具。学习之初,自己利用VMware虚拟机搭建了一个5台机器的集群,摸清了安装过程中可能出现的问题和解决方案(http://www.cnblogs.com/PurpleDream/p/4510279.ht... 阅读全文
posted @ 2015-07-18 22:35 Sky_YiBai 阅读(2685) 评论(5) 推荐(4) 编辑
 
摘要: 前言: 由于公司项目需要,最近开始学习一下分布式存储相关知识,确定使用FastDFS这个开源工具。利用周末的时间在虚拟机上搭建了分布式存储系统,在搭建过程中,发现网上的资料说的并不是很全,有些细节需要单独搜索或者自己判断,所以现在想写这篇博客尽量记录一下自己在过程中遇到的问题,以及是如何解决的,方便 阅读全文
posted @ 2015-06-27 23:49 Sky_YiBai 阅读(8015) 评论(11) 推荐(7) 编辑
 
摘要: 前言: 今天是初五,生活基本要从过年的节奏中回归到正常的生活了,所以想想也该想想与工作有关的事情了。我之前在工作中会经常使用memcached和redis,但是自己一直没有时间系统的好好看下这部分的基础知识,所以现在打算好好把这两部分的基础再看一看。我会把看到的东西努力记录下来,给自己以后留个参... 阅读全文
posted @ 2015-02-23 20:08 Sky_YiBai 阅读(1093) 评论(0) 推荐(0) 编辑
 
摘要: 前言: 前段时间自己学习如何部署伪分布式模式的hadoop环境,之前由于工作比较忙,学习的进度停滞了一段时间,所以今天抽出时间把最近学习的成果和大家分享一下。 本文要介绍的是如何利用VMware搭建自己的hadoop的集群。如果大家想了解伪分布式的大家以及eclipse中的hadoop编程,... 阅读全文
posted @ 2015-02-01 13:12 Sky_YiBai 阅读(13318) 评论(0) 推荐(2) 编辑
 
摘要: 前言: 毕业两年了,之前的工作一直没有接触过大数据的东西,对hadoop等比较陌生,所以最近开始学习了。对于我这样第一次学的人,过程还是充满了很多疑惑和不解的,不过我采取的策略是还是先让环境跑起来,然后在能用的基础上在多想想为什么。 通过这三个礼拜(基本上就是周六周日,其他时间都在加班啊T ... 阅读全文
posted @ 2014-10-19 16:33 Sky_YiBai 阅读(6102) 评论(0) 推荐(1) 编辑
 
摘要: 前言: 毕业两年了,之前的工作一直没有接触过大数据的东西,对hadoop等比较陌生,所以最近开始学习了。对于我这样第一次学的人,过程还是充满了很多疑惑和不解的,不过我采取的策略是还是先让环境跑起来,然后在能用的基础上在多想想为什么。 通过这三个礼拜(基本上就是周六周日,其他时间都在加班啊T ... 阅读全文
posted @ 2014-10-12 14:05 Sky_YiBai 阅读(4901) 评论(2) 推荐(3) 编辑
 
摘要: 前言: 毕业两年了,之前的工作一直没有接触过大数据的东西,对hadoop等比较陌生,所以最近开始学习了。对于我这样第一次学的人,过程还是充满了很多疑惑和不解的,不过我采取的策略是还是先让环境跑起来,然后在能用的基础上在多想想为什么。 通过这三个礼拜(基本上就是周六周日,其他时间都在加班啊T ... 阅读全文
posted @ 2014-10-09 00:28 Sky_YiBai 阅读(2594) 评论(1) 推荐(1) 编辑
 
摘要: 前记: 毕业两年了,前两天换了份工作,由以前的传统行业跳到了互联网行业。之前的公司一直在用WinServer2003+Tomcat+SqlServer/Oracle这套部署环境。对于Linux+Tomcat(或其他容器)+Mysql这套之前没用用过。所以利用这周末的我在阿里云上49元搞了个linux 阅读全文
posted @ 2014-08-10 20:26 Sky_YiBai 阅读(1474) 评论(4) 推荐(1) 编辑
  2015年4月15日

前言:

     本文主要是我在大家hadoop集群之前 ,需啊先安装CentOS虚拟机,记录在此,作为参考。如果能帮助到其他人,自然是更好啦。

============================================================长长的分割线=====================================================================

正文:

     本次我选择的是VMware10,网上可以搜索到安装的方法,资源很丰富。  

     第一步,下载资源:CentOS-6.5-i386-minimal.iso ,此处网上搜索即可,如果大家找不到,可以留下邮箱,我可以发给大家。

     第二步,打开VMware,安装虚拟机,如下图:

       

     第三步,选择典型(推荐),然后点击下一步,如下图:

      

     第四步,选择稍后安装操作系统,然后点击下一步,如下图:

     

     第五步,选择操作系统和版本,注意版本选择的CentOS,不是CentOS64,如下图:

       

     第六步,输入虚拟机名称和安装路径,然后点击下一步,如下图:

       

     第七步,设置磁盘大小,注意,此处大家根据自己的需要合理的选择磁盘大小,这个我截图的时候是默认值,我在搭建hadoop集群时,每个虚拟机的磁盘大小为3GB,如下图:

        

     第八步,点击自定义硬件,如下图:

       

     第九步,按照图中标示,设置各项,如下图:

       

     第十步,设完完硬件之后,点击完成,如下图:

   

     第十一步,选择开启虚拟机,如下图:

       

     第十二步,选择第一项,安装全新操作系统或升级现有操作系统,如下图:

      

     第十三步,Tab键进行选择,选择Skip,退出检测,如下图:

       

     第十四步,点击Next,如下图:

       

     第十五步,选择语言是中文简体,如下图:

       

     第十六步,选择键盘样式,如下图:

       

     第十七步,选择存储设备,如下图:

       

     第十八步,如果以前安装过虚拟机,会出现这个警告,如下图:

       

     第十九步,输入主机名,点击配置网络,如下图:

       

     第二十步,配置方法如图所示,点击下一步,如下图:

       

     第二十一步,设置时区,勾选使用UTC时间,点击下一步,如下图:

       

     第二十二步,输入根用户的密码,点击下一步,如下图:

       

     第二十三步,如果密码过于简单会出现提示,点击无论如何都使用,点击下一步,如下图:

       

     第二十四步,选择替换现有的linux系统,点击下一步,如下图:

       

     第二十五步,如下图:

       

     第二十六步,点击重新引导,如下图:

       

     第二十七步,成功到登陆页面,如下图:

       

 

posted @ 2015-04-15 13:39 Sky_YiBai 阅读(4156) 评论(0) 推荐(2) 编辑
< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

点击右上角即可分享
微信分享提示