摘要：
设置NameNode和DataNode时间同步。在每台设备上使用以下两条命令： cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtimentpdate pool.ntp.org 阅读全文
摘要：
YARN的Memory和CPU调优配置详解 Hadoop YARN同时支持内存和CPU两种资源的调度，本文介绍如何配置YARN对内存和CPU的使用。 YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Contain 阅读全文
摘要：
IDEA程序访问Mysql，出现权限异常。SQLException: Access denied for user 'root'@'192.168.119.1' (using password: YES) 应该是mysql中的特定库、特定表等对特定的用户、特定的ip开放。 所以可以修改一下，在mys 阅读全文
摘要：
IDEA中的scala项目访问HDFS，程序运行，可能出现的异常： 权限问题：Permission denied: user=СÎ÷ѧÎè, access=WRITE, inode="/":hadoop:supergroup:drwxr-xr-x 修改运行时参数，因为HDFS上的文件所属的用户是ha 阅读全文
摘要：
IDEA程序代码中需要访问mysql，出现 java.sql.SQLException: No suitable driver found for jdbc://mysql://hadoop001:3306/ruoze_g6 出现连接相关的问题的时候，如何进行思考呢： 1）ip，port，db名字有 阅读全文
摘要：
scalikejdbc官网：http://scalikejdbc.org/ScalikeJDBC是简洁数据库访问库。该库自然包装JDBC API。 需求：使用scalikejdbc3.3.2版本来操作MySQL数据库1） 通过SQL准备一张表user，有id，name，age三个字段2） 通过sca 阅读全文
摘要：
步骤：1）MySQL的驱动2）Connection 重量级的获取过程。可以使用POOL优化3）Statement 执行的类4）ResultSet 结果的封装5）Close 在pom中添加scala、hadoop、Mysql驱动依赖包： <properties> <scala.version>2.11 阅读全文
摘要：
hive中可能会出现一个非常常见的异常：Specified key was too long;max key length is 767 bytes？是mysql/hive字符集问题。需要改变hive元数据库的字符集：mysql>alert database ruozedata character 阅读全文
摘要：
在使用Hive Client跑job时，一直提示job被kill，然后观察YARN的WebUI进行查看，如图： 然后观察Hive Client的控制台输出，如下：Launching Job 1 out of 3Number of reduce tasks is set to 0 since th 阅读全文
摘要：
报错Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly** 首先检查HiveConf类是否存在：[hadoop@hadoop01 app]$ cd apache-h 阅读全文
摘要：
检查：1、Linux上1）Linux防火墙是否关闭了2）网络是否通，linux和windows是否网通，用 `ping ip`3）hiveServer2服务是否开启，10000端口。用`netstat -nlp | grep 进程` 2、windows上1）防火墙2）网络是否通，linux和wind 阅读全文
摘要：
hive sql语句转换成mapreduce 1.hive是什么？ 2.MapReduce框架实现SQL基本操作的原理是什么? 3.Hive怎样实现SQL的词法和语法解析? 一.Hive是什么 Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建， 阅读全文
摘要：
pom中应该有hive-exec、hive-jdbc、hive-server的依赖： <properties> <hadoop.version>2.6.0-cdh5.7.0</hadoop.version> <hive.version>1.1.0-cdh5.7.0</hive.version></p 阅读全文
【异常】Container exited with a non-zero exit code 1 Failing this attempt.Stack trace: ExitCodeException
摘要：
出现的异常：Container exited with a non-zero exit code 1 Failing this attempt. Failing the application.Exception in thread "main" org.apache.spark.SparkExce 阅读全文
摘要：
打包，OnLineLogAnalysis类出现的error是：error1：[ERROR] D:\xxx\src\main\scala\com\importpack\OnLineLogAnalysis.scala:3: error: object InfluxDBUtils is not a mem 阅读全文
摘要：
出现的异常是：java.sql.SQLException: No suitable driver。是因为缺少mysql包： 代码中： val alterDs: DataFrame = sparkSession.read.format("jdbc") .option("url", url) .opti 阅读全文
摘要：
提交Spark代码，去指定的application下查看logs下的stderr文件，提示：Caused by: java.lang.ClassNotFoundException: org.influxdb.InfluxDBFactory，这个类是java的类。 那么就是spark的包中没有这个In 阅读全文
摘要：
遇到该错误主要有以下几种原因：1.服务器的zookeeper和kafka未开启2.配置文件中，没有配置advertised.host.name和advertised.port3.服务器防火墙未关闭，或者无法连接9092端口 找到$KAFKA_HOME/config/server.properties 阅读全文