04 2019 档案
摘要：Spark On YARN内存分配 Spark On YARN内存分配 本文主要了解Spark On YARN部署模式下的内存分配情况，因为没有深入研究Spark的源代码，所以只能根据日志去看相关的源代码，从而了解“为什么会这样，为什么会那样”。 说明 按照Spark应用程序中的driver分布方式
阅读全文
摘要：稍微有点mapreduce使用经验的同学肯定对OOM不陌生，对的，我目前在mapReduce里面遇到的最多的报错也是内存分配出错，所以看到好多hadoop执行脚本里面有好多关于内存的参数，虽然是知道和内存分配有关系，但是我依然不太清楚具体的原理，从网上查阅相关资料，看到博主整理的，甚是欣慰，稍作整理
阅读全文
摘要：问题描述 在测试spark on yarn时，发现一些内存分配上的问题，具体如下。 在$SPARK_HOME/conf/spark-env.sh中配置如下参数： SPARK_EXECUTOR_INSTANCES=4 在yarn集群中启动的executor进程数 SPARK_EXECUTOR_MEMO
阅读全文
摘要：从hbase中拿数据，然后整合到hbase中 上hive官网 -- 点击wiki--> hive hbase integation（整合） --》 注意整合的时候两个软件的版本要能进行整合 按照官网的要求 在整合之前需要将hive 的jar进行导入 ： hive-hbase-handler-x.y.
阅读全文
