摘要：
shell脚本——调试（-n / -x / + / ++ ）-n 只读取shell脚本，但不实际执行 "-n"可用于测试shell脚本是否存在语法错误，但不会实际执行命令。-x 进入跟踪方式，显示所执行的每一条命令 "-x"选项可用来跟踪脚本的执行，是调试shell脚本的强有力工具。 -v 显示所有行，详细模式sh -n file.sh# 检查脚本中的语法错误,并显示行号expo... 阅读全文
摘要：
一、 在QQ邮箱中开启POP二 、关闭主机的sendmail,开启postfix(本机若没有两个服务,就需要先安装)本地安装sendmail和postfix[root@Slave1 ~]## yum -y install sendmail# yum -y install postfix//sendmail# service sendmial stop# chkconfig sendmail o... 阅读全文
摘要：
一、存储Hive版本的元数据表（VERSION）二、Hive数据库相关的元数据表（DBS、DATABASE_PARAMS）DBS --存储Hive中所有数据库的基本信息DATABASE_PARAMS --该表存储数据库的相关参数,在CREATE DATABASE时候用WITH DBPROPERTIES (property_name=property_value, …)指定的参数。... 阅读全文
摘要：
从2.10.0版本开始，Scala提供了三种创新的字符串插值方法： s、f 和 raw于2.11.0版本开始，用于模式匹配patter match中小结：s: s"Hello, $name" //变量插值 s"1 + 1 = ${1+1}" //任意表达式插值f: f"$name%s is $height%2.2f meters tall" //插值后，格式化字符串raw:... 阅读全文
摘要：
关系模型、多维模型和Data Vault模型是三种常见的数据仓库模型.数据结构、完整性约束和SQL语言是关系模型的三个要素.规范化是通过应用范式规则实现的.第一范式(1NF)要求保持数据的原子性第二范式(2NF)消除了部分依赖第三范式(3NF)消除了传递依赖关系模型的数据仓库一般要求满足3NF.事实、纬度、粒度是维度模型的三个核心概念.纬度模型的四步设计法是选择业务流程、声明粒度、确定纬度、确定事... 阅读全文
摘要：
外连接:---外连接并不要求连接的两表的每一条记录在对方表中都有一条匹配记录.要保留所有记录(甚至这条记录没有匹配的记录也要保留)的表成为保留表.外连接可以一句连接表保留左表,右表和全部表的行二进一步分为左外连接、右外连接、全连接.(在这种情况下left和right表示Join关键字的两边.)在标准的SQL语言中,外连接没有隐式的连接符号.外部连接即包含ON子句又包含WHERE子句时,应当只把表之... 阅读全文
摘要：
outputMysqlApp.scalaimport java.sql.DriverManagerimport org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext }object outputMysqlApp extends App { //配置入口点 val conf =... 阅读全文
摘要：
updataStateByKeyApp.scalaimport org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}object updataStateByKeyApp extends App { //配置入口点 val conf = new SparkConf().set... 阅读全文
摘要：
TransformationDemo.scalaimport org.apache.spark.{HashPartitioner, SparkConf, SparkContext}import scala.collection.mutable.ListBufferobject TransformationDemo extends App { val sparkConf = new SparkCo... 阅读全文
摘要：
要用到transform and rdd.leftOuterJointransform: 使 DStream 和 RDD 之间的类型进行了转换,然后可以进行调用leftOuterJoin(左外连接,左边表不变,右边变) BlackFilterApp.scalapackage com.imooc.streamingimport org.apache.spark.SparkConfimport... 阅读全文