摘要:
DataFrame与RDD互操作之一: 反射方式 使用反射来推断包含了特定数据类型的RDD的元数据信息 使用DataFrame API或者sql方式编程 代码如下 import org.apache.spark.sql.SparkSe... 阅读全文
摘要:
不过有时候我们在创建SQLContext实例的时候遇到类似下面的 java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.ha... 阅读全文
摘要:
提交命令 --class 任务的包名全路径 spark-submit --name sparksql --class com.binzaijun.SQLContextApp --master local[2] sql-1.0-SNAPSHOT.jar ... 阅读全文
摘要:
一、环境准备 1.1硬件:centos7.6 2.1软件: jdk1.8 mysql5.7 MySQL JDBC jar cm6.3.1 连接:https://archive.cloudera.com/cm6/6.3.1/repo-as... 阅读全文
摘要:
Linux 正常安装 rpm 的命令是: rpm -ivh xxx.rpm 重复安装时需加属性: 软件包重复安装将会失败,若仍需要安装必须加--replacepkgs 属性 软件包的某个文件已在安装其他软件包时... 阅读全文
摘要:
在官方的maven仓库中找不到cdh版本的hadoop依赖jar包 需要在spark根目录下的pom.xml文件中添加源 在 cloudera https://repository.cloudera.com/artifacto... 阅读全文
摘要:
转载于:https://segmentfault.com/a/1190000013903264 后面有修改时遇到的问题,及解决思路 通过这篇文章我学习了vue集成echarts,尝试了一下demo没问题,但是在修改我预期效果时,却出了一点问题,最后解决思... 阅读全文
摘要:
问题一:用vue +axios 跨域访问多个不同的域 解决方法: 在 vue.config.js 文件中 devServer中添加 devServer: { proxy: { '^/api/': { ... 阅读全文
摘要:
一、准备工作 1、环境准备 ambari版本 2.7.4 hdp版本3.1 已在虚拟机中提前搭建好了集群环境。 只有一台虚拟机 所以全部采取单节点模式。 主机名 master ip 192.168.134.132 其中,elasticsear... 阅读全文
摘要:
利用虚拟机安装docker,在docker环境中搭建HDP大数据平台 前言 : 在一台虚拟机上搭建3个docker容器 作为安装HDP的环境,虚拟机环境centos7.6 docker环境为centos7.6 因为想要对ambari进行二次开发,所以本... 阅读全文