摘要：
目前几乎很多大型网站及应用都是分布式部署的，分布式场景中的数据一致性问题一直是一个比较重要的话题。分布式的CAP理论告诉我们“任何一个分布式系统都无法同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partition tolerance），最多只能同时满足两 阅读全文
摘要：
经常有初学者在博客和QQ问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么？是计算机专业，对操作系统、硬件、网络、服务器感兴趣？ 阅读全文
摘要：
大数据已经成为时代发展的趋势，很多人纷纷选择学习大数据，想要进入大数据行业。大数据技术体系庞大，包括的知识较多，系统的学习大数据可以让你全面掌握大数据技能。学习大数据需要掌握哪些知识？ 1、学习大数据首先要学习Java基础 怎样进行大数据学习的快速入门？学大数据课程之前要先学习一种计算机编程语言。J 阅读全文
摘要：
YARN是资源管理系统，理论上支持多种资源，目前支持CPU和内存两种资源 YARN产生背景 直接源于MRv1在几个方面的缺陷 扩展性受限 单点故障 难以支持MR之外的计算 多计算框架各自为战，数据共享困难 MR：离线计算框架 Storm：实时计算框架 Spark：内存计算框架 YARN设计目标 通用 阅读全文
摘要：
HDFS优点 高容错性 数据自动保存多个副本 副本丢失后，自动恢复 适合批处理 移动计算而非数据 数据位置暴露给计算框架 适合大数据处理 GB、TB、甚至PB级数据 百万规模以上的文件数量 10K+节点规模 流式文件访问 一次性写入，多次读取 保证数据一致性 可构建在廉价机器上 通过多副本提高可靠性 阅读全文
摘要：
HDFS：分布式存储系统（Hadoop Distributed File System）：提供了高可靠性、高扩展性和高吞吐率的数据存储服务 HDFS源自于Google的GFS论文 (发表于2003年10月 )，是GFS克隆版 YARN：资源管理系统（Yet Another Resource Nego 阅读全文
摘要：
首先我们通过一个最简单的例子来看下如何构建一个微服务应用。 图 1 是一个完整服务的代码，它和普通的应用程序没什么区别，只是功能非常少，业务非常简单。把它编译之后部署在服务端就能跑起来，我们从上往下解释一下这段代码干了什么事情： 在第 6 行我们引入一个包 “github.com/koding/ki 阅读全文