流了个火

摘要： 转自：http://my.oschina.net/hanzhankang/blog/200275 附：各种操作的逻辑执行图 https://github.com/JerryLead/SparkInternals/blob/master/markdown/2-JobLogicalPlan.md 本文提 阅读全文

摘要： https://github.com/JerryLead/SparkInternals/blob/master/markdown/3-JobPhysicalPlan.md stage 和 task 的划分问题。只要在 ShuffleDependency 处断开，就只剩 NarrowDependenc 阅读全文

摘要： BlockingQueue 阻塞队列 对于阻塞队列，如果BlockingQueue是空的，从BlockingQueue取东西的操作将会被阻断进入等待状态，直到BlockingQueue进了东西才会被唤醒，如果BlockingQueue是满的，任何试图往里存东西的操作也会被阻断进入等待状态，直到Blo 阅读全文

摘要： 线程封闭实现好的并发是一件困难的事情，所以很多时候我们都想躲避并发。避免并发最简单的方法就是线程封闭。什么是线程封闭呢？就是把对象封装到一个线程里，只有这一个线程能看到此对象。那么这个对象就算不是线程安全的也不会出现任何安全问题。实现线程封闭有哪些方法呢？1：ad-hoc线程封闭 这... 阅读全文

摘要： Spark集群基于ZooKeeper的搭建：http://www.dataguru.cn/thread-333245-1-1.htmlSpark需要修改的地方：进入spark的配置目录，参照下面代码修改spark-env.shexport SPARK_DAEMON_JAVA_OPTS="-Dspar... 阅读全文

摘要： 1.使用hbase shell的时候运行命令执行失败例如：在shell下执行 status，失败。可能的原因：节点之间的时间差距过大解决方法调整两个节点的时间，使二者一致，这里用了个比较笨的方法使用date查看一个结点的时间，然后修改另一节点使二者一直，命令：date -s "24 OCT 2015... 阅读全文

摘要： http://www.cnblogs.com/nick-huang/p/3859353.html 使用Java API发送 get请求或post请求的步骤： 1. 通过统一资源定位器(java.net.URL)获取连接器(java.net.URLConnection)2. 设置请求的参数3. 发送请 阅读全文

摘要： 另一篇博文：Hibernet中的ThreadLocal使用 http://www.cnblogs.com/gnivor/p/4440776.html 本文参考：http://blog.csdn.net/lufeng20/article/details/24314381http://www.cnblo 阅读全文

摘要： 1.上传本地文件到HDFS //上传本地文件到HDFS public class CopyFile { public static void main(String[] args) { try { Configuration conf = new Configuration(); String st 阅读全文

摘要： 相关资料：Spark属性配置 http://www.cnblogs.com/chengxin1982/p/4023111.html本文出处：转载自过往记忆（http://www.iteblog.com/）本文链接地址: 《Spark三种属性配置方式详细说明》（http://www.iteblog.c... 阅读全文

摘要： Java Lambda表达式入门：http://blog.csdn.net/renfufei/article/details/24600507lambda内容的介绍：http://swiftlet.net/archives/809 阅读全文

摘要： 转自http://pengcqu.iteye.com/blog/492196比较Collection 和Collections的区别。1、java.util.Collection 是一个集合接口。它提供了对集合对象进行基本操作的通用接口方法。Collection接口在Java 类库中有很多具体的实现... 阅读全文

摘要： 注意:每个层次的知识都是渐增的，位于层次n，也蕴涵了你需了解所有低于层次n的知识。 计算机科学 Computer Science 2n (Level 0) n2 (Level 1) n (Level 2) log(n) (Level 3) 数据结构 不知道数组和链表的差异 能够解释和使用数组，链表， 阅读全文

摘要： PriorityQueue（优先队列）实际上是一个堆（不指定Comparator时默认为最小堆）队列既可以根据元素的自然顺序来排序，也可以根据Comparator来设置排序规则。队列的头是按指定排序方式的最小元素。如果多个元素都是最小值，则头是其中一个元素。新建对象的时候可以指定一个初始容量，其容量... 阅读全文

摘要： 在HashMap中，如果需要使用多个属性组合作为key，可以将这几个属性组合成一个对象作为key。但是存在的问题是，要做get时，往往没办法保存当初put操作时的key object的reference，此时，需要让key object覆盖如下hashCode()和equals(Object obj... 阅读全文

摘要： 1. 从apache官网下载Cassandra，我用的版本是2.1.8。压缩包解压，这里的目录是D:\cassandra\apache-cassandra-2.1.82. 配置环境变量 添加环境变量CASSANDRA_HOME，值为D:\cassandra\apache-cassandra-2.1... 阅读全文

摘要： 相关资料：传感器的坐标与读数：http://www.cnblogs.com/mengdd/archive/2013/05/19/3086781.html传感器介绍及指南针原理：http://www.2cto.com/kf/201111/110233.html获取安卓设备的方向：http://www.... 阅读全文

摘要： 依赖注入和控制反转：http://baitai.iteye.com/blog/792980出自李刚《轻量级 Java EE 企业应用实战》 Java应用是一种典型的依赖型应用，它就是由一些互相适当地协作的对象构成的。因此，我们说这些对象间存在依赖关系。假如A组件调用了B组件的方法，我们就可以称A组... 阅读全文

摘要： Java Thread中， join()方法主要是让调用该方法的thread在完成run方法里面的部分后， 再执行join()方法后面的代码例如：定义一个People类，run方法是输出姓名年龄。class People implements Runnable{ public String n... 阅读全文

摘要： 在运行Spark应用程序的时候，driver会提供一个webUI给出应用程序的运行信息，但是该webUI随着应用程序的完成而关闭端口，也就是 说，Spark应用程序运行完后，将无法查看应用程序的历史记录。Spark history server就是为了应对这种情况而产生的，通过配置，Spark应用程... 阅读全文