摘要：
scalikejdbc官网：http://scalikejdbc.org/ScalikeJDBC是简洁数据库访问库。该库自然包装JDBC API。 需求：使用scalikejdbc3.3.2版本来操作MySQL数据库1） 通过SQL准备一张表user，有id，name，age三个字段2） 通过sca 阅读全文
摘要：
步骤：1）MySQL的驱动2）Connection 重量级的获取过程。可以使用POOL优化3）Statement 执行的类4）ResultSet 结果的封装5）Close 在pom中添加scala、hadoop、Mysql驱动依赖包： <properties> <scala.version>2.11 阅读全文
摘要：
hive中可能会出现一个非常常见的异常：Specified key was too long;max key length is 767 bytes？是mysql/hive字符集问题。需要改变hive元数据库的字符集：mysql>alert database ruozedata character 阅读全文
摘要：
在使用Hive Client跑job时，一直提示job被kill，然后观察YARN的WebUI进行查看，如图： 然后观察Hive Client的控制台输出，如下：Launching Job 1 out of 3Number of reduce tasks is set to 0 since th 阅读全文
摘要：
报错Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly** 首先检查HiveConf类是否存在：[hadoop@hadoop01 app]$ cd apache-h 阅读全文
摘要：
检查：1、Linux上1）Linux防火墙是否关闭了2）网络是否通，linux和windows是否网通，用 `ping ip`3）hiveServer2服务是否开启，10000端口。用`netstat -nlp | grep 进程` 2、windows上1）防火墙2）网络是否通，linux和wind 阅读全文
摘要：
hive sql语句转换成mapreduce 1.hive是什么？ 2.MapReduce框架实现SQL基本操作的原理是什么? 3.Hive怎样实现SQL的词法和语法解析? 一.Hive是什么 Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建， 阅读全文
摘要：
pom中应该有hive-exec、hive-jdbc、hive-server的依赖： <properties> <hadoop.version>2.6.0-cdh5.7.0</hadoop.version> <hive.version>1.1.0-cdh5.7.0</hive.version></p 阅读全文
【异常】Container exited with a non-zero exit code 1 Failing this attempt.Stack trace: ExitCodeException
摘要：
出现的异常：Container exited with a non-zero exit code 1 Failing this attempt. Failing the application.Exception in thread "main" org.apache.spark.SparkExce 阅读全文
摘要：
打包，OnLineLogAnalysis类出现的error是：error1：[ERROR] D:\xxx\src\main\scala\com\importpack\OnLineLogAnalysis.scala:3: error: object InfluxDBUtils is not a mem 阅读全文