随笔 - 597  文章 - 4  评论 - 445  阅读 - 424万
05 2018 档案
error: not found: value sqlContext/import sqlContext.implicits._/error: not found: value sqlContext /import sqlContext.sql/Caused by: java.net.ConnectException: Connection refused
摘要：1、今天启动启动spark的spark-shell命令的时候报下面的错误，百度了很多，也没解决问题，最后想着是不是没有启动hadoop集群的问题 ，可是之前启动spark-shell命令是不用启动hadoop集群也是可以启动起来的。今天突然报错了。 2、然后启动hadoop集群以后出现如下所示： 阅读全文
posted @ 2018-05-24 11:10 别先生 阅读(1593) 评论(0) 推荐(0) 编辑
python的学习和使用
摘要：1、python的官网：https://www.python.org/ Python简介： 1、Python 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。 2、Python 的设计具有很强的可读性，相比其他语言经常使用英文关键字，其他语言的一些标点符号，它具有比其他语言更有特色语 阅读全文
posted @ 2018-05-23 11:41 别先生 阅读(704) 评论(0) 推荐(0) 编辑
kafka.common.KafkaException: Failed to acquire lock on file .lock in /tmp/kafka-logs. A Kafka instance in another process or thread is using this directory.
摘要：1、刚才未启动zookeeper集群的时候，直接启动kafka脚本程序，kafka报错了，但是进程号启动起来来，再次启动出现如下所示的问题，这里先将进程号杀死，再启动脚本程序。 阅读全文
posted @ 2018-05-22 09:41 别先生 阅读(3485) 评论(0) 推荐(0) 编辑
WARN Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect (org.apache.zookeeper.ClientCnxn) java.net.ConnectException: Connection refused
摘要：1、启动kafka的脚本程序报如下所示的错误： 2、根据错误分析，说zookeeper的问题，之前我没有启动zookeeper集群，所以先启动zookeeper集群，然后启动kafka解决问题； 阅读全文
posted @ 2018-05-22 09:32 别先生 阅读(5388) 评论(0) 推荐(0) 编辑
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Exception in thread "main" java.io.IOException: No FileSystem for sc F
摘要：1、执行脚本程序报如下所示的错误： 2、猛一看，WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applica 阅读全文
posted @ 2018-05-20 17:27 别先生 阅读(1362) 评论(0) 推荐(0) 编辑
Caused by: java.net.ConnectException: Connection refused/Caused by: java.lang.RuntimeException: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure
摘要：1、使用sqoop技术将mysql的数据导入到Hive出现的错误如下所示： 第一次使用命令如下所示： 1 [hadoop@slaver1 sqoop-1.4.5-cdh5.3.6]$ bin/sqoop import --connect jdbc:mysql://localhost:3306/tes 阅读全文
posted @ 2018-05-18 20:07 别先生 阅读(2711) 评论(0) 推荐(0) 编辑
Encountered IOException running import job: org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://slaver1:9000/user/hadoop/tb_user already exists
摘要：1、当时初学Sqoop的时候，mysql导入到hdfs导入命令执行以后，在hdfs上面没有找到对应的数据，今天根据这个bug，顺便解决这个问题吧，之前写的http://www.cnblogs.com/biehongli/p/8039128.html。 1 [hadoop@slaver1 sqoop- 阅读全文
posted @ 2018-05-18 19:42 别先生 阅读(3562) 评论(0) 推荐(0) 编辑
(Access denied for user 'root'@'slaver1' (using password: YES))
摘要：1、问题描述，启动azkaban的时候报如下所示的错误。之前使用azkaban是root用户，今天使用hadoop用户进行配置和使用，报这个错，说是root连接mysql拒绝了。 1 [hadoop@slaver1 azkaban-web-2.5.0]$ bin/azkaban-web-start. 阅读全文
posted @ 2018-05-17 17:15 别先生 阅读(2571) 评论(4) 推荐(0) 编辑
使用shell脚本定时采集日志数据到hdfs分布式文件系统
摘要：1、首先对linux操作系统的crontab命令进行熟悉和了解： 2、在/etc目录下有一个crontab文件，查看这个文件内容如下所示： 3、使用实例： 4、crontab配置 5、uploadFile2Hdfs.v2.sh 待续...... 阅读全文
posted @ 2018-05-08 21:25 别先生 阅读(3057) 评论(0) 推荐(0) 编辑
WARN conf.FlumeConfiguration: Could not configure sink sink1 due to: No channel configured for sink: sink1 org.apache.flume.conf.ConfigurationException: No channel configured for sink: sink1
摘要：1、错误如下所示，启动flume采集文件到hdfs案例的时候，出现如下所示的错误： 大概是说No channel configured for sink，所以应该是sink哪里配置出现了错误，百度了一下，然后检查了一下自己的配置: 2、解决方法如下所示： 参考链接如https://stackover 阅读全文
posted @ 2018-05-08 20:58 别先生 阅读(1522) 评论(0) 推荐(0) 编辑

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

Powered by: 博客园 Copyright © 2025 别先生
Powered by .NET 9.0 on Kubernetes
点击右上角即可分享
微信分享提示