白乔 - 博客园

Dremel made simple with Parquet

摘要： http://lastorder.me/tag/parquet.htmlhttps://blog.twitter.com/2013/dremel-made-simple-with-parquet对于优化『关系型数据库上的分析任务』，列式存储（Columnar Storage）是个比较流行的技术. 这... 阅读全文

posted @ 2015-03-10 09:37 白乔阅读(237) 评论(0) 推荐(0) 编辑

从NSM到Parquet：存储结构的衍化

摘要： http://blog.csdn.net/dc_726/article/details/41777661为了优化MapReduce及MR之前的各种工具的性能，在Hadoop内建的数据存储格式外，又涌现了一批各种各样的存储方式。如优化Hive性能的RCFile，以及配合Impala实现出Google ... 阅读全文

posted @ 2015-03-10 09:30 白乔阅读(374) 评论(0) 推荐(0) 编辑

spark stream初探

摘要： spark带了一个NetworkWordCount测试程序，用以统计来自某TCP连接的单词输入：/usr/local/spark/bin/run-example streaming.NetworkWordCount localhost 9999再启动netcat： nc -lk 99... 阅读全文

posted @ 2015-03-09 10:14 白乔阅读(157) 评论(0) 推荐(0) 编辑

大数据架构：flume-ng+Kafka+Storm+HDFS 实时系统组合

摘要： http://www.aboutyun.com/thread-6855-1-1.html个人观点：大数据我们都知道hadoop，但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实时性比较强的，数据量比较大的，我们可以采用Storm，那么Storm... 阅读全文

posted @ 2015-03-06 15:44 白乔阅读(217) 评论(0) 推荐(0) 编辑

Spark Shuffle实现

摘要： Apache Spark探秘：Spark Shuffle实现http://dongxicheng.org/framework-on-yarn/apache-spark-shuffle-details/对于大数据计算框架而言，Shuffle阶段的设计优劣是决定性能好坏的关键因素之一。本文将介绍目前Sp... 阅读全文

posted @ 2015-03-06 10:24 白乔阅读(247) 评论(0) 推荐(0) 编辑

spark下统计单词频次

摘要：写了一个简单的语句，还没有优化：scala> sc. | textFile("/etc/profile"). | flatMap((s:String)=>s.split("\\s")). | map(_.toUpperCase). | map((s:S... 阅读全文

posted @ 2015-03-06 08:51 白乔阅读(506) 评论(0) 推荐(0) 编辑

使用PSSH批量SSH操作Linux服务器

摘要： http://www.opstool.com/article/266服务器多了，有一个烦恼就是如何批量快速操作一堆服务器。这里我推荐一下经常使用利器pssh。这个工具给我的工作带来了莫大的帮助。简介pssh是一款开源的软件，使用python实现。用于批量ssh操作大批量机器。pssh的项目地址htt... 阅读全文

posted @ 2015-03-05 11:07 白乔阅读(409) 评论(0) 推荐(0) 编辑

搭建scala开发环境

摘要：下载scala 2.11.5安装eclipse LUNA版本安装scala IDE插件：http://download.scala-ide.org/sdk/lithium/e44/scala211/stable/site 还可以安装jd-gui，用以反编译生成的class文件，参见h... 阅读全文

posted @ 2015-03-04 21:18 白乔阅读(133) 评论(0) 推荐(0) 编辑

scala学习笔记：理解stream和view

摘要：先来个正常的：scala> (0 to 5).map((x:Int)=>{println(x);x*2}).foreach(println)0123450246810再来个stream版的：scala> (0 to 5).toStream.map((x:Int)=>{println(... 阅读全文

posted @ 2015-03-01 22:54 白乔阅读(424) 评论(1) 推荐(0) 编辑

scala学习笔记：变量声明中的模式

摘要：先看个正常的写法：scala> val x = 1x: Int = 1体会一下元组的写法：scala> val (x,y,z)=(1,2,3)x: Int = 1y: Int = 2z: Int = 3再来体会一个Array的匹配：scala> val Array(x,y,_)=Ar... 阅读全文

posted @ 2015-02-28 17:49 白乔阅读(217) 评论(0) 推荐(0) 编辑

scala学习笔记：理解并行集合par

摘要： scala> (1 to 5).foreach(println(_))12345scala> (1 to 5).par.foreach(println(_))31425以下代码获取到参与并行计算的线程：scala> (0 to 10000).collect{case _ => Thr... 阅读全文

posted @ 2015-02-28 17:00 白乔阅读(1352) 评论(1) 推荐(0) 编辑

快速了解Scala技术栈

摘要： http://www.infoq.com/cn/articles/scala-technology/我无可救药地成为了Scala的超级粉丝。在我使用Scala开发项目以及编写框架后，它就仿佛凝聚成为一个巨大的黑洞，吸引力使我不得不飞向它，以至于开始背离Java。固然Java 8为Java阵营增添了一... 阅读全文

posted @ 2015-02-28 16:13 白乔阅读(220) 评论(0) 推荐(0) 编辑

scala学习笔记：控制抽象

摘要： def repeat(n:Int)(action: =>Unit)=for(i def until(condition: =>Boolean)(action: =>Unit) { | if(!condition){ | action | until(condi... 阅读全文

posted @ 2015-02-28 15:25 白乔阅读(164) 评论(0) 推荐(0) 编辑

scala中的call-by-name和call-by-value

摘要： http://www.jianshu.com/p/93eefcb61d4fval和def的区别在scala中，可以用val和def前缀来定义变量，例如： val x = 1 def y = “foo”这两者的区别在于：val定义值时，会做call-by-value操作，def则会做call-by... 阅读全文

posted @ 2015-02-27 13:16 白乔阅读(195) 评论(0) 推荐(0) 编辑

scala学习笔记：各种奇怪的写法

摘要： Unit函数的定义： def foo()={println("hi")} 等号可以省略： def foo(){println("hi")}update方法： x(y) = z 相当于： x.update(y, z)单参数方法的调用： xObject yMethod zParamete... 阅读全文

posted @ 2015-02-26 22:01 白乔阅读(280) 评论(0) 推荐(0) 编辑

scala学习笔记：match与unapply()

摘要：编写如下代码：object MatchTest { def foo(a : Any) : String = { a match { case 1 => "int:1" case x ... 阅读全文

posted @ 2015-02-26 14:09 白乔阅读(427) 评论(0) 推荐(0) 编辑

scala学习笔记：无参函数

摘要： scala> def repeat(times:Int)(run:()=>Unit)=for(i Unit)Unitscala> repeat(2){println("haha~~~")}:9: error: type mismatch; found : Unit require... 阅读全文

posted @ 2015-02-12 17:50 白乔阅读(408) 评论(0) 推荐(0) 编辑

scala学习笔记：函数与方法

摘要： http://stackoverflow.com/questions/2529184/difference-between-method-and-function-in-scalaAFunction Typeis (roughly) a type of the form(T1, ..., Tn) =... 阅读全文

posted @ 2015-02-12 17:31 白乔阅读(200) 评论(0) 推荐(0) 编辑

scala学习笔记：理解函数

摘要：定义一个函数：scala> def foo(x:Int)=x*2foo: (x: Int)Int可以采用匿名参数：scala> def foo:((Int)=>Int) = _*2foo: Int => Int这个函数的类型是Int=>Int：scala> var bar = foo... 阅读全文

posted @ 2015-02-12 11:20 白乔阅读(131) 评论(0) 推荐(0) 编辑

scala学习笔记：理解类继承

摘要： scala> import scala.reflect._import scala.reflect._scala> class Person(@BeanProperty var name: String, val gender: Boolean=true){}defined clas... 阅读全文

posted @ 2015-02-09 20:55 白乔阅读(146) 评论(0) 推荐(0) 编辑