错误集锦 - 随笔分类(第4页) - 别先生

INFO JobScheduler: Added jobs for time 1524468752000 ms/INFO MemoryStore: Block input-0-1524469143000 stored as bytes in memory/完全分布式 ./bin/run-example streaming.NetworkWordCount localhost 9999无法正常运行

摘要：1、完全分布式 ./bin/run-example streaming.NetworkWordCount localhost 9999无法正常运行： 2、启动过程如上所示，下面就是问题，当在nc -lk 9999命令窗口，输入例如hello world hello world hadoop worl 阅读全文

posted @ 2018-04-23 16:46 别先生阅读(2494) 评论(0) 推荐(0) 编辑

exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused

摘要：1、虽然，不是大错，还说要贴一下，由于我运行run-example streaming.NetworkWordCount localhost 9999的测试案例，出现的错误，第一感觉就是Spark没有启动导致的： 2、启动Spark的脚本命令： [hadoop@slaver1 spark-1.5.1 阅读全文

posted @ 2018-04-23 15:35 别先生阅读(8103) 评论(0) 推荐(0) 编辑

执行Spark运行在yarn上的命令报错 spark-shell --master yarn-client

摘要：1、执行Spark运行在yarn上的命令报错 spark-shell --master yarn-client，错误如下所示：解决方法如下所示: 参考文章：https://blog.csdn.net/chengyuqiang/article/details/69934382 HADOOP_CONF 阅读全文

posted @ 2018-04-22 21:43 别先生阅读(4330) 评论(0) 推荐(0) 编辑

实现虚拟机VMware上Centos操作系统与主机windows之间互相复制与粘贴

摘要：1、启动你的虚拟机，然后点击虚拟机，如下所示(未安装的话，显示的是安装VMware Tools): 2、点击安装Vmware tools以后显示如下所示： 3、VMwareTools-9.9.2-2496486.tar.gz拷贝到/tmp目录下。 4、在进入/tmp目录下解压VMwareTools- 阅读全文

posted @ 2018-04-17 11:46 别先生阅读(14648) 评论(1) 推荐(0) 编辑

org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address 0.0.0.0/0.0.0.0:9083.

摘要：1、启动hive的过程中，[hadoop@slaver1 soft]$ hive --service metastore &错误如下所示：原因：之前启动hive失败了，但是进程以及启动起来，使用jps命令查看，然后使用kill -9 进程号，杀死重启即可。操作如下所示：阅读全文

posted @ 2018-04-15 10:18 别先生阅读(16460) 评论(1) 推荐(2) 编辑

Swap file ".hive-site.xml.swp" already exists

摘要：1、使用命令[hadoop@slaver1 conf]

l s - l a 查 找 出 隐 藏 文 件 ， 然 后 删 除 报 出 来 的 错 误 文 件 。 [h a d o o p @ s l a v e r 1 c o n f]

$ls -la查找出隐藏文件，然后删除报出来的错误文件。 [hadoop@slaver1 conf]$ rm -rf .hive-site.xml.swp 阅读全文

posted @ 2018-04-13 21:23 别先生阅读(530) 评论(0) 推荐(0) 编辑

Hbase启动hbase shell运行命令报Class path contains multiple SLF4J bindings.错误

摘要：1：Hbase启动hbase shell运行命令报Class path contains multiple SLF4J bindings.错误，是因为jar包冲突了，所以对于和hadoop的jar包冲突的，可以将其他jar包删除，如果你不确定是否删除正确，可以将其他的jar包复制备份或者修改名称，确阅读全文

posted @ 2018-04-08 13:10 别先生阅读(8200) 评论(0) 推荐(0) 编辑

hbase启动后HMaster进程自动关闭

摘要：1、情况描述如题所示，hbase启动以后，HMaster进程启动了，几秒钟以后自动关闭，但是HRegionServer进程正常运行；原因是，hdfs的默认端口号是8020，而我core-site.xml中将hdfs的端口修改为了9000。但是在我们并没有指定hdfs的端口，所以在hbase启动后阅读全文

posted @ 2018-04-07 20:25 别先生阅读(7919) 评论(0) 推荐(0) 编辑

Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

摘要：1、window操作系统的eclipse运行wordcount程序出现如下所示的错误: 暂时解决方法如下所示： Windows的唯一方法用于检查当前进程的请求，在给定的路径的访问权限，所以我们先给以能进行访问，我们自己先修改源代码，return true 时允许访问。我们下载对应hadoop源代码，阅读全文

posted @ 2018-04-06 21:56 别先生阅读(3002) 评论(0) 推荐(0) 编辑

Exception in thread "main" java.lang.NullPointerException

摘要：1、在window操作系统上，使用eclipse开发工具从hdfs分布式文件系统上下载文件报空指针异常解决方法： 2、将hadoop-2.5.0-cdh5.3.6.tar.gz文件在window操作系统解压缩，配置好环境变量。然后验证一下是否配置成功，操作如window+R，输入cmd：然后将如阅读全文

posted @ 2018-04-06 17:38 别先生阅读(15717) 评论(0) 推荐(0) 编辑

eclipse工具下hadoop环境搭建

摘要：eclipse工具下hadoop环境搭建: window10操作系统中搭建eclipse64开发系统，配置hadoop的eclipse插件，让eclipse可以查看Hdfs中的文件内容。 1、将hadoop-eclipse-plugin-2.5.2.jar文件移动到eclipse的plugins文件阅读全文

posted @ 2018-04-06 10:39 别先生阅读(553) 评论(0) 推荐(0) 编辑

18/03/18 04:53:44 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

摘要：1：遇到这个问题是在启动bin/spark-shell以后，然后呢，执行spark实现wordcount的例子的时候出现错误了，如：执行上面操作之前我是这样启动我的spark-shell的，如下所示：问题就出现在这里，首先你要知道自己笔记本的内存大小，如果你租的服务器内存应该可以满足你的需求，这阅读全文

posted @ 2018-03-18 20:06 别先生阅读(7972) 评论(2) 推荐(0) 编辑

java.net.ConnectException: Call From slaver1/192.168.19.128 to slaver1:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org

摘要：1：练习spark的时候，操作大概如我读取hdfs上面的文件，然后spark懒加载以后，我读取详细信息出现如下所示的错误，错误虽然不大，我感觉有必要记录一下，因为错误的起因是对命令的不熟悉造成的，错误如下所示： 2：错误原因如下所示：我使用了如下所示命令来读取hdfs上面的文件，scala> va 阅读全文

posted @ 2018-03-18 15:42 别先生阅读(2318) 评论(0) 推荐(0) 编辑

从gitlab下载下来的maven无法运行，老报404解决方法

摘要：1：由于在不同的地方开发同一个项目，就将项目上传到gitlab上面（可以创建私有项目，免费的），回到住的地方，项目下载下来老报错，自己摸索的，记录一下。自己记得把jdk啥的，maven依赖加一下。不然项目找不到web.xml就无法正常运行。第一次操作是找到web.xml文件。第二次操作是添加mave 阅读全文

posted @ 2018-02-25 13:29 别先生阅读(695) 评论(0) 推荐(0) 编辑

在IDEA中编写Spark的WordCount程序

摘要：1：spark shell仅在测试和验证我们的程序时使用的较多，在生产环境中，通常会在IDE中编制程序，然后打成jar包，然后提交到集群，最常用的是创建一个Maven项目，利用Maven来管理jar包的依赖。 2：配置Maven的pom.xml： <?xml version="1.0" encodi 阅读全文

posted @ 2018-02-23 18:03 别先生阅读(16189) 评论(0) 推荐(1) 编辑

Caused by: java.net.ConnectException: Connection refused: master/192.168.3.129:7077

摘要：1：启动Spark Shell，spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下用scala编写spark程序。启动Spark Shell，出现的错误如下所示： 2：解决方法，是你必须先启动你的Spark集群，这样再启动Spark Shel 阅读全文

posted @ 2018-02-22 17:58 别先生阅读(13979) 评论(0) 推荐(0) 编辑

java.util.zip.ZipException: invalid LOC header (bad signature)

摘要：1：部署好项目，启动tomcat出现如下所示的错误，百度方法，挺多的，但是好像并没有解决我的问题，问题如下所示: 2：解决方法如下所示，以及问题分析：原因如下所示，出现如下所示，是因为下载没有下载完整。所以删除了这个包，从新使用maven下载即可：使用如下所示maven工具进行下载即可：然后使阅读全文

posted @ 2018-02-18 18:04 别先生阅读(16193) 评论(1) 推荐(0) 编辑

mybatis_generator_逆向工程的使用笔记

摘要：1：解压mybatis_generator_1.3.1.zip文件。 2：把features，pougins文件夹copy到D:\java\eclipse\eclipse目录下（D:\java\eclipse\eclipse为eclipse的安装目录）。 3：进入D:\java\eclipse\ec 阅读全文

posted @ 2018-02-18 14:36 别先生阅读(684) 评论(0) 推荐(0) 编辑

Kafka的生产者和消费者代码解析

摘要：步骤如下：a、假如topic1,具有如下partitions: P0,P1,P2,P3。b、加入group中,有如下consumer: C1,C2。c、首先根据partition索引号对partitions排序: P0,P1,P2,P3。d、根据consumer.id排序: C0,C1。e、计算倍数阅读全文

posted @ 2018-01-23 14:16 别先生阅读(13489) 评论(2) 推荐(3) 编辑

Caused by: java.lang.ClassNotFoundException: backtype.storm.topology.IRichSpout

摘要：1：初次运行Strom程序出现如下所示的错误，贴一下，方便脑补，也希望帮助到看到的小伙伴：错误如下所示，主要问题是刚开始使用maven获取jar包的时候需要写<scope>provided</scope>，运行的时候需要把这行注释了即可，这是作用域的问题，开始需要在本地下载jar包，但是在虚拟机运阅读全文

posted @ 2018-01-19 14:44 别先生阅读(4972) 评论(0) 推荐(0) 编辑

代码改变世界，你改变代码===>你改变世界。老铁，没毛病。Date：2017/11/22

爱生活，爱工作。

随笔分类 - 错误集锦

键盘不敲烂，月薪不过万。机械键盘不敲烂，月薪不会过两万。

搜索

最新随笔

积分与排名

随笔分类 (830)

随笔档案 (597)

阅读排行榜

评论排行榜

推荐排行榜

最新评论