摘要：
在建立maven项目时，遇到问题，只能对java代码的打包。 此问题出现的原因时，在建立项目的时候，建立的时java的项目，后期进行scala的添加，但是在pom.xml中并没有出现scala代码的打包配置，导致只能进行java代码的打包。 解决方法： 在maven文件中，加入scala的打包配置。 阅读全文
摘要：
api代码示例入下 object DataFrameCase { def main(args: Array[String]): Unit = { val sparksession = SparkSession.builder().appName("DataFrameCase").master("lo 阅读全文
摘要：
DataFrame与RDD互操作之一： 反射方式 使用反射来推断包含了特定数据类型的RDD的元数据信息 使用DataFrame API或者sql方式编程 代码如下 import org.apache.spark.sql.SparkSession object DataFrameRDDApp { de 阅读全文
摘要：
不过有时候我们在创建SQLContext实例的时候遇到类似下面的 java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.Sess 阅读全文
摘要：
提交命令 --class 任务的包名全路径 spark-submit --name sparksql --class com.binzaijun.SQLContextApp --master local[2] sql-1.0-SNAPSHOT.jar people.json spark-submit 阅读全文
摘要：
一、环境准备 1.1硬件：centos7.6 2.1软件： jdk1.8 mysql5.7 MySQL JDBC jar cm6.3.1 连接：https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz 阅读全文
摘要：
Linux 正常安装 rpm 的命令是： rpm -ivh xxx.rpm 重复安装时需加属性： 软件包重复安装将会失败，若仍需要安装必须加 --replacepkgs 属性 软件包的某个文件已在安装其他软件包时安装过，则安装将会失败，若仍需要安装必须加 --replacefiles 属性 解决依赖 阅读全文
摘要：
在官方的maven仓库中找不到cdh版本的hadoop依赖jar包 需要在spark根目录下的pom.xml文件中添加源 在 <repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/arti 阅读全文
摘要：
xargs程序允许你从标准输入生成和执行命令，它通常通过管道与其他命令结合使用。 使用xargs，您可以提供标准输入作为命令行实用程序（例如mkdir和rm）的参数。 在本教程中，介绍使用xargs命令的基本知识。 如何使用Linux xargs命令 xargs从标准输入读取参数，用空格或换行符分隔 阅读全文
摘要：
JavaScript push() 方法 定义和用法 push() 方法可向数组的末尾添加一个或多个元素，并返回新的长度。 语法 arrayObject.push(newelement1,newelement2,....,newelementX) 参数描述 newelement1 必需。要添加到数组 阅读全文