摘要:
spark yarn的配置,主要是对yarn的日志的处理,其他参数请参考hadoop官网参数
地址:http://hadoop.apache.org/docs/r2.6.5/hadoop-yarn/hadoop-yarn-common/yarn-default.xml 阅读全文
摘要:
Spark 定制版:005~贯通Spark Streaming流计算框架的运行源码 Spark 定制版:005~贯通Spark Streaming流计算框架的运行源码 本讲内容: a. 在线动态计算分类最热门商品案例回顾与演示 b. 基于案例贯通Spark Streaming的运行源码 注:本讲内容 阅读全文
摘要:
Dream_Spark-----Spark 定制版:003~Spark Streaming(三) 阅读全文
摘要:
Dream_Spark-----Spark 定制版:004~Spark Streaming事务处理彻底掌握 阅读全文
摘要:
hive on spark spark1.4.1 hive 1.2.1 hbase 1.1.2
在hive上使用spark的引擎 阅读全文
摘要:
Dream------Hbase--0.94版本和0.98/1.X版本api变动
hbase1.0.2/hbase1.1.2api变动 阅读全文
摘要:
大数据1,《大数据不眠夜:Spark内核天机解密(共100讲)》:http://pan.baidu.com/s/1eQsHZAq2,《Hadoop深入浅出实战经典》http://pan.baidu.com/s/1mgpfRPu3,《Spark纯实战公益大讲坛》http://pan.baidu.com... 阅读全文
摘要:
两个节点在一个本地网络中被称为“彼此的近邻”是什么意思?在高容量数据处理中,限制因素是我们在节点间
传送数据的速率-----带宽很稀缺。这个想法便是将两个节点间的带宽作为距离的衡量标准。 阅读全文