摘要：
Hive的几种常见的数据导入方式这里介绍四种：（1）、从本地文件系统中导入数据到Hive表；（2）、从HDFS上导入数据到Hive表；（3）、从别的表中查询出相应的数据并导入到Hive表中；（4）、在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。 一、从本地文件系统中导入数据到Hi 阅读全文
摘要：
参考：scala教程： https://yq.aliyun.com/topic/69 Scala 是一门多范式（multi-paradigm）的编程语言，设计初衷是要集成面向对象编程和函数式编程的各种特性。 Scala 运行在Java虚拟机上，并兼容现有的Java程序。 Scala 源代码被编译成J 阅读全文
摘要：
hive中日志分为两种： 1 系统日志，记录hive运行情况，错误状态 2 job日志 ， 记录hive中 job执行的历史过程 系统日志存储位置： 配置在 hive/conf/hive-log4j.properties 文件中记录了hive日志存储情况 默认存储信息： hive.root.logg 阅读全文
摘要：
Linux的变量种类 按变量的生存周期来划分，Linux变量可分为两类： 1 永久的：需要修改配置文件，变量永久生效。 2 临时的：使用export命令声明即可，变量在关闭shell时失效。 设置变量的三种方法 1 在/etc/profile文件中添加变量【对所有用户生效(永久的)】 用VI在文件/ 阅读全文
摘要：
http://dongxicheng.org/framework-on-yarn/apache-spark-intellij-idea/ 阅读全文
摘要：
参考：http://blog.csdn.net/lsshlsw/article/details/44786575 为什么需要historyServer? 在运行Spark Application的时候，Spark会提供一个WEBUI列出应用程序的运行时信息；但该WEBUI随着Application的 阅读全文