摘要：
Spark内部执行机制 1.1 内部执行流程 如下图1为分布式集群上spark应用程序的一般执行框架。主要由sparkcontext（spark上下文）、cluster manager(资源管理器)和▪executor（单个节点的执行进程）。其中cluster manager负责整个集群的统一资源管 阅读全文
摘要：
原文地址：https://cloud.tencent.com/developer/article/1006044 四、RegionServer的故障恢复 我们知道，RegionServer的相关信息保存在ZK中，在RegionServer启动的时候，会在Zookeeper中创建对应的临时节点。Reg 阅读全文
摘要：
原文地址：https://cloud.tencent.com/developer/article/1006043 前言 最近在跟进Hbase的相关工作，由于之前对Hbase并不怎么了解，因此系统地学习了下Hbase，为了加深对Hbase的理解，对相关知识点做了笔记，并在组内进行了Hbase相关技术的 阅读全文
摘要：
一个算法命题：给定字符串S[0…N-1]，设计算法，枚举S的全排列。如：123，全排列就是：123,132,213,231,312,321 个人愚昧，搞了一天半，才终于把字典排列搞出来，看不到大神写的代码，我的代码还有很多优化之处，先记录下，递归现在还是有点蒙。 java代码：递归实现（考虑有重复的 阅读全文
摘要：
第一个版本： 位运算符的计算主要用在二进制中。 实际开发中也经常会遇到需要用到这些运算符的时候，同时这些运算符也被作为基础的面试笔试题。 所以了解这些运算符对程序员来说是十分必要的。 于此，记录下我所理解的运算符： 如果以开关开灯论： 有这样两个开关，0为开关关闭，1为开关打开。 与（&）运算 与运 阅读全文
摘要：
count函数是用来统计表中或数组中记录的一个函数，下面我来介绍在MySQL中count函数用法与性能比较吧。 count(*) 它返回检索行的数目， 不论其是否包含 NULL值。 SELECT 从一个表中检索，而不检索其它的列，并且没有 WHERE子句时， COUNT(*)被优化到最快的返回速度。 阅读全文
摘要：
ZooKeeper并没有直接采用Paxos算法，而是采用一种被称为ZAB（ZooKeeper Atomic Broadcast）的一致性协议 ZooKeeper是一个典型的分布式数据一致性的解决方案，分布式应用程序可以基于它实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Ma 阅读全文
摘要：
泊松是法国数学家、物理学家和力学家。他一生致力科学事业，成果颇多。有许多著名的公式定理以他的名字命名，比如概率论中著名的泊松分布。 有一次闲暇时，他提出过一个有趣的问题，后称为：“泊松分酒”。在我国古代也提出过类似问题，遗憾的是没有进行彻底探索，其中流传较多是：“韩信走马分油”问题。 有3个容器，容 阅读全文
摘要：
先看下自己的JAVA_HOME里面有没有空格目录，如果有的话，先把JAVA_HOME换个没空格的位置。 在windows系统本地运行spark的wordcount程序，会出现一个异常，但不影响现有程序运行。 总归是一个异常，老是爆红，看着心烦，下面是异常信息 让我们源码追踪一下，看看到底是什么原因导 阅读全文