2019 年 4月随笔档案 - 吹静静

报错：Heartbeating to master:7182 failed.

摘要：报错背景： cloudera-scm-agent 可以启动并且存活，但是jps没有进程。报错现象：查看报错日志：/opt/cm-5.15.1/log/cloudera-scm-agent/cloudera-scm-agent.log [29/Apr/2019 14:27:52 +0000] 10 阅读全文

posted @ 2019-04-29 17:15 吹静静阅读(4411) 评论(0) 推荐(0) 编辑

报错：ERROR ParcelUpdateService:com.cloudera.parcel.components.ParcelDownloaderImpl: Unable to retrieve remote parcel repository manifest

摘要：报错背景： CDH断电后重启失败，解决了种种错误之后，重启成功，但是重启之后的服务器没有任何进程，查看/opt/cm-5.15.1/log/cloudera-scm-server/cloudera-scm-server.log日志，我来到了这个错误面前。报错现象：查看报错日志： tail -n 阅读全文

posted @ 2019-04-29 16:16 吹静静阅读(7144) 评论(1) 推荐(1) 编辑

EL表达式

摘要：EL表达式功能1：获取数据 1.获取常量结果： 2.获取变量结果： 3.获取数组中的数据结果： 4.获取集合中的数据结果： 5.获取map集合中的数据结果： 6.获取JavaBean中的数据 * JavaBean-Java中用来封装实体信息的类 * 1. 属性都用private修饰 * 2 阅读全文

posted @ 2019-04-29 10:16 吹静静阅读(202) 评论(0) 推荐(0) 编辑

CDH断电后cloudera-scm-server启动报错

摘要：报错背景： CDH未关闭的情况下，Linux断电，导致cloudera-scm-server无法启动。报错现象：输入启动命令之后：/opt/cm-5.15.1/etc/init.d/cloudera-scm-server start， cloudera-scm-server 会启动，但是几秒中之阅读全文

posted @ 2019-04-29 10:10 吹静静阅读(5503) 评论(2) 推荐(0) 编辑

报错：/usr/sbin/mysqld: Can't find file: './performance_schema/events_waits_summary_by_account_by_event_name.frm' (errno: 13 - Permission denied)

摘要：报错背景： Linux环境下安装MySQL数据库。安装完成，数据库初始化，启动数据库时报错。报错现象：报错原因：目录 /var/lib/mysql/performance_schema/ 下的文件权限有问题。需要把此目录中的文件所属用户和所属组都改成mysql用户和mysql用户组。报错阅读全文

posted @ 2019-04-29 09:13 吹静静阅读(1161) 评论(0) 推荐(0) 编辑

报错：Sqoop2 Exception: java.lang.NoSuchMethodError Message: org.apache.hadoop.security.authentication.client.Authenticator

摘要：报错过程：进入sqoop2之后，输入命令：show connector，报错报错现象： Exception has occurred during processing command Exception: java.lang.NoSuchMethodError Message: org.ap 阅读全文

posted @ 2019-04-17 18:23 吹静静阅读(1084) 评论(0) 推荐(0) 编辑

报错：Failed on local exception: Host Details : local host is: "master/192.168.52.26"; dest

摘要：报错现象 Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.; Host D 阅读全文

posted @ 2019-04-10 16:22 吹静静阅读(3569) 评论(0) 推荐(0) 编辑

报错：Flink Could not resolve substitution to a value: ${akka.stream.materializer}

摘要：报错现象： Exception in thread "main" com.typesafe.config.ConfigException$UnresolvedSubstitution: reference.conf @ jar:file:/bigdata/app/flink-1.0-SNAPSHOT 阅读全文

posted @ 2019-04-10 15:09 吹静静阅读(6743) 评论(2) 推荐(0) 编辑

Kafka基本命令

摘要：1.创建自定义的topic 在bin目录下执行： kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 注:副本数量要小于等于节点数量 2.查看所有阅读全文

posted @ 2019-04-08 16:46 吹静静阅读(173) 评论(0) 推荐(0) 编辑

报错：Exception in thread "main" java.lang.NoClassDefFoundError: Lorg/apache/hadoop/fs/FileSystem

摘要：报错现象：报错背景：当时我是在做kafka+flink+hadoop数据存取的功能，一直在报这个错，代码也没有问题，困扰了很长时间。报错解决：第一步：我怀疑是依赖冲突问题，于是将关于hadoop的pom依赖给一一注释掉，发现做完之后还是报错；第二步：我开始怀疑是没有这个jar包，但是当我去阅读全文

posted @ 2019-04-04 10:00 吹静静阅读(7772) 评论(0) 推荐(0) 编辑

报错：org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version.

摘要：报错环境： CDH中集成的hive服务，启动报错，所以初始化一下元数据。配置文件：/etc/hive/conf hive-site.xml 命令目录：/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/hive/bin 报错现象：执行以下命阅读全文

posted @ 2019-04-02 16:07 吹静静阅读(26156) 评论(8) 推荐(0) 编辑

吹静静

欢迎QQ交流：592590682