摘要：
1. .如何创建内部类,只能通过外部类 阅读全文
摘要：
import java.io.InputStream; import java.util.Properties; public class ConfigurationManager { //Properties对象采用private修饰, 表示是其私有,外界不可改变 private static P 阅读全文
摘要：
一般情况下 这种可以直接插入 字符串已经包含进去stmt.execute("insert into t20 values(now,"ASX",700,400)"); 但是如果遇到要插入对象替换比如String a="ADVC";那么需要将 " 符号也写进去 , 需要用到转义字符 \ , 也就是你想写 阅读全文
摘要：
1. 原因: 一般hadoop 集群是两个或多个NameNode , 但是一个处于standby , 另一个active , 通过设置可以忽略不确定谁是active的情况 2. import org.apache.spark.sql.SparkSession object Spark_HDFS { 阅读全文
摘要：
函数 1.hive函数分类 标准函数 自定义标准函数称之为 UDF 传递一行数据，返回一个结果 聚合函数 自定义聚合函数称之为 UDAF 传递多行数据，返回一个结果 group by sum count 表生成函数 自定义表生成函数称之为 UDTF 传递一行数据，返回多行数据 explode 2.函 阅读全文
摘要：
1. 查看文件编码格式 file -i filename 其中 charset=iso-8859-1 就是ansi的文件格式 如何转化为 UTF-8 iconv -f ansi -t utf8 xxxx.csv -o xxxx2.csv 转化后就变为正常显示. 可用于导HIVE前文件格式的转换 阅读全文
摘要：
1.在使用Spark的 sum() 算子经常遇到结果被自动转化为科学技术 如何正常显示呢 假如 n结果会是一个科学计数法 val n=data.map(x=>x.toInt).sum() 然后我们 val a = BigDecimal(n) println(a) 这样打印出来的结果就是正常的大数 阅读全文
摘要：
~ 以下博文 https://www.cnblogs.com/tongxupeng/p/10435976.html hash 分区 范围分区 阅读全文
摘要：
1.请先创建好命名空间 .然后再创建表 . create 'gld:student',{NAME=>'cf1', VERSIONS=>5}, {SPLITS => ['1', '2', '3', '4', '5', '6', '7', '8', '9']} 我这里的namespace是提前创建好了的 阅读全文
摘要：
1. 使用yarn 提交 , 在 自己定义的yarn 日志服务器上面能看到任务记录 . spark-submit --master yarn --class com.Spark_HDFS ./SXC-1.0-SNAPSHOT.jar 2.使用 Spark的 自己的端口提交 spark-submit 阅读全文