06 2016 档案

Sbt的使用初步和用sbt插件生成eclipse工程
摘要：以前一直是用maven去管理java项目，现在开始写scala项目了但是在scala-ide中去编译scala项目和sbt的区别一直没弄清楚受到文章：http://my.oschina.net/yjwxh/blog/601566的启发，查了相关的资料 sbt官网是http://www.scala-s 阅读全文
posted @ 2016-06-29 22:35 kongchung 阅读(6608) 评论(1) 推荐(0) 编辑
Spark运行在eclipse_使用PyDev和pyspark
摘要：一直想在eclipse上编写Spark程序，但是仿佛是因为spark的安装包提供了PS D:\software\spark-1.6.1-bin-hadoop2.6> .\bin\spark-submit .\examples\src\main\python\ml\binarizer_example. 阅读全文
posted @ 2016-06-29 10:48 kongchung 阅读(1727) 评论(0) 推荐(0) 编辑
ubuntu1604安装体验
摘要：昨天安装了ubuntu 16 安装成了双系统，这样的速度才能接受。 各种软件支持的都还算不错。除了启动时候原始的气息，启动之后挺稳定的。 最让人开心的是新的unity的设置更加丰富了，可以自动隐藏，更换图标什么的。安装了unity-tweak-tool，设置比较方便。 还有一个docky比我在win 阅读全文
posted @ 2016-06-21 07:52 kongchung 阅读(3052) 评论(0) 推荐(1) 编辑
STORM_0010_Message passing implementation/消息传递的实现
摘要：下面是0.8.0之前的表述，之后的已经基于Disruptor改造过了 这个文章演示了发射和转移tuple是怎么在storm中工作的 Worker为消息传递负责 当zk中的任务出现了变化或者每个task.refresh.poll.secs都会调用refresh-connections。这个东西管理和其 阅读全文
posted @ 2016-06-04 21:00 kongchung 阅读(216) 评论(0) 推荐(0) 编辑
STORM_0009_Lifecycle-of-a-topology/拓扑的生命周期
摘要：http://storm.apache.org/releases/1.0.1/Lifecycle-of-a-topology.html http://storm.apache.org/releases/1.0.1/Lifecycle-of-a-topology.html STORM拓扑的生命周期 本 阅读全文
posted @ 2016-06-03 13:05 kongchung 阅读(531) 评论(0) 推荐(0) 编辑
STORM_0008_Structure-of-the-codebase_Storm的代码库的结构
摘要：http://storm.apache.org/releases/1.0.1/Structure-of-the-codebase.html Structure of the codebase 源码分成独立的三层 第一：在最开始的时候Storm就被设计成支持多种语言，Nimbus是一种Thrift的服 阅读全文
posted @ 2016-06-02 16:32 kongchung 阅读(238) 评论(0) 推荐(0) 编辑
STORM_0007_Multi-Lang protocol of Storm/多语言协议的翻译
摘要：原始地址： http://storm.apache.org/releases/1.0.1/Multilang-protocol.html http://storm.apache.org/releases/1.0.1/Multilang-protocol.html 这个协议试用0.7.1之后的版本 通 阅读全文
posted @ 2016-06-02 10:22 kongchung 阅读(392) 评论(0) 推荐(0) 编辑
STORM_0006_第二个storm_topology:WordCountTopology的代码与运行
摘要：我先试试这个Open Live Writer能不能用。 再在ScribeFire中修改一下已经发布的文章试试看。 这两个写博客的地方都没有原始的编辑器方便，可以插入代码，选择文章的分类。所以以后还有这个编辑器吧。 昨天搞定第一个简单的topology，今天看一个稍微复杂一点的topology，基本上 阅读全文
posted @ 2016-06-02 06:19 kongchung 阅读(485) 评论(0) 推荐(0) 编辑
STORM_0005_第一个非常简单的storm topology的提交运行
摘要：配置好storm之后就可以开始在eclipse里面写topology了。 下面是我在网上搜到的一个简单的例子，我按照自己的理解注释了一下。 第一步，创建mvn工程 这是pom.xml文件 1 <project xmlns="http://maven.apache.org/POM/4.0.0" xml 阅读全文
posted @ 2016-06-01 18:30 kongchung 阅读(332) 评论(0) 推荐(0) 编辑
STORM_0004_windows下zookeeper的伪集群的搭建
摘要：START 因为是把storm-starter都放到了windows的eclipse下面了，看代码也方便，所以想着在windows下面搭建zookeeper伪集群 首先是单机模式 安装zookeeper就是在网上下载新版的包，解压后放到合适的路径，然后在path中添加相应的路径进入。 配置conf下 阅读全文
posted @ 2016-06-01 16:32 kongchung 阅读(481) 评论(0) 推荐(0) 编辑