2016 年 4月 24 日随笔档案 - zhangxuhui

2016年4月24日

摘要： 1、内存 spark.storage.memoryFraction：很明显，是指spark缓存的大小，默认比例0.6 spark.shuffle.memoryFraction：管理executor中RDD和运行任务时的用于对象创建内存比例，默认0.2 关于这两个参数的设置，常见的一个场景就是操作关系阅读全文

posted @ 2016-04-24 23:10 zhangxuhui 阅读(1742) 评论(0) 推荐(0) 编辑

spark sql 窗口函数over partition by

摘要： 1、窗口函数需要使用hiveContext，故引入如下包 libraryDependencies += "org.apache.spark" %% "spark-core" % "1.4.1" % "provided" libraryDependencies += "org.apache.spark 阅读全文

posted @ 2016-04-24 21:55 zhangxuhui 阅读(5370) 评论(0) 推荐(0) 编辑

cassandra 之集群部署

摘要：其实关于部署没啥好说的，修改config/cassandra.yaml以下几个地方就可以了阅读全文

posted @ 2016-04-24 21:39 zhangxuhui 阅读(921) 评论(0) 推荐(0) 编辑

cassandra 之在spark-shell 中使用 spark cassandra connector 完整案例

摘要： 1、cassandra 准备启动cqlsh， 2、spark cassandra conector jar包新建空项目，使用sbt,引入connector,打包为spark-cassandra-connector-full.jar，在*.sbt文件中添加如下一行 libraryDependenc 阅读全文

posted @ 2016-04-24 17:47 zhangxuhui 阅读(2987) 评论(0) 推荐(0) 编辑