摘要：
superset在centos7下快速安装 superset 是一款开源的BI工具。快速、轻量、直观，并加载了选项，使所有技能集的用户都可以轻松探索和可视化他们的数据，从简单的折线图到高度详细的地理空间图表文字源于官网。 安装 首先安装Anaconda3 Anaconda3下载 执行shell命令, 阅读全文
摘要：
spark SQL 1.sparksql由来 shark是专门针对于spark构建大规模数据仓库系统的一个框架。它依赖于Hive，同时兼容spark。hivesql底层是把sql解析成mapreduce程序，shark（sql解析引擎）是把sql后期解析成了spark任务。 后期由于程序对性能要求比 阅读全文
摘要：
spark 运行模式 0.spark-submit提交参数说明 --master MASTER_URL spark://host:port, mesos://host:port, yarn, or local. --deploy-mode DEPLOY_MODE driver运行之处，client运 阅读全文
摘要：
spark+hadoop错误相关记录： 错误1：java.lang.Exception: Unknown container. Container either has not started ...Yarn 在我通过运行spark提交yarn任务，在hadoop平台查看日志报错java.lang. 阅读全文
摘要：
1.spark内存分配 MemoryManager |__StaticMemoryManager 静态内存管理机制 |__UnifiedMemoryManger 统一内存管理机制 1.静态内存管理机制 静态内存管理机制实现起来较为简单，但没有根据具体的数据规模和计算任务做相应的配置，很容易造成"一半 阅读全文
摘要：
Spark分区 1分区： 自定义分区在对RDD数据进行分区时，默认使用的是 HashPartitioner，该partitioner对key进行哈希，然后mod 上分区数目，mod的结果相同的就会被分到同一个partition中如果嫌HashPartitioner 功能单一，可以自定义partiti 阅读全文
摘要：
spark-RDD缓存,checkpoint机制,有向无环图,stage 1.RDD依赖关系 RDD依赖关系有2种不同类型，窄依赖和宽依赖。 窄依赖(narrow dependency)：是指每个父RDD的Partition最多被子RDD一个Partition使用。就好像独生子女一样。窄依赖的算子包 阅读全文
摘要：
Spark-广播变量 当我们产生了几百个或是几千个task这些task后期都需要使用到一份共同的数据，假如这个数据量有1G,这些task后期运行完成需要内存开销 几百或几千乘以1g,内存开销还是特别大的，特别浪费资源。而spark提供一个叫数据共享机制广播变量。可以把共同数据从Driver段下发到每 阅读全文
摘要：
1.镜像构建打包推送阿里镜像： DockerFile构建： FROM java:openjdk-8-jdk ENV hadoop_ver 2.8.2 ENV spark_ver 2.4.4 RUN mkdir -p /opt ADD hadoop-${hadoop_ver}.tar.gz /opt/ 阅读全文
摘要：
spark搭建 继续使用上次搭建hadoop scala安装:https://downloads.lightbend.com/scala/2.12.12/scala-2.12.12.tgz # 解压 tar -zxvf scala-2.12.12.tgz # 配置环境变量 vi /etc/profi 阅读全文
