随笔 - 597  文章 - 4  评论 - 445  阅读 - 424万
04 2018 档案
Description Resource Path Location Type Project configuration is not up-to-date with pom.xml. Select: Maven->Update Project... from the project context menu or use Quick Fix. spark-MT line 1 Maven Co
摘要：1、相信大家新建的maven项目，然后添加好依赖（即修改了pom.xml文件以后就会出现如下所示的错误）： 截图如下所示： 大致意思呢，读读英语还是挺有意思的，错误提示说，项目的配置没有及时更新with 这个pom.xml文件，所以更新一下配置文件即可。操作如下所示： 即鼠标右击错误，然后点击弹出的 阅读全文
posted @ 2018-04-25 20:18 别先生 阅读(14553) 评论(4) 推荐(4) 编辑
FATAL Fatal error during KafkaServerStable startup. Prepare to shutdown (kafka.server.KafkaServerStartable) java.io.FileNotFoundException: /tmp/kafka-logs/.lock (Permission denied)
摘要：1、启动kafka的时候，报错如下所示： 2、原因分析，主要是自己是hadoop用户操作，期间无意登陆到root权限，启动了kafka,且启动成功了，创建了如下所示的目录，而且权限是root权限的，当我切换到hadoop用户的时候，启动kafka直接报如下所示的错误： 3、可以看到目录如下所示，解决 阅读全文
posted @ 2018-04-24 19:44 别先生 阅读(11125) 评论(1) 推荐(0) 编辑
java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient
摘要：1、启动hive的时候出现这个问题，报错如下所示： 2、具体原因是我配置hive的hive.site.sh的时候配置了如下所示的内容，注释了就不报错了，这里先注释了： 阅读全文
posted @ 2018-04-24 16:52 别先生 阅读(2417) 评论(0) 推荐(0) 编辑
Spark的Streaming + Flume进行数据采集（flume主动推送或者Spark Stream主动拉取）
摘要：1、针对国外的开源技术，还是学会看国外的英文说明来的直接，迅速，这里简单贴一下如何看： 2、进入到flume的conf目录，创建一个flume-spark-push.sh的文件： [hadoop@slaver1 conf]$ vim flume-spark-push.sh 配置一下这个文件，flum 阅读全文
posted @ 2018-04-24 10:53 别先生 阅读(2611) 评论(0) 推荐(0) 编辑
Spark的Streaming和Spark的SQL简单入门学习
摘要：1、Spark Streaming是什么？ 2、Spark与Storm的对比 a、Spark开发语言：Scala、Storm的开发语言：Clojure。 b、Spark编程模型：DStream、Storm编程模型：Spout/Bolt。 c、Spark和Storm的对比介绍： Spark: Stor 阅读全文
posted @ 2018-04-23 17:24 别先生 阅读(744) 评论(0) 推荐(0) 编辑
INFO JobScheduler: Added jobs for time 1524468752000 ms/INFO MemoryStore: Block input-0-1524469143000 stored as bytes in memory/完全分布式 ./bin/run-example streaming.NetworkWordCount localhost 9999无法正常运行
摘要：1、完全分布式 ./bin/run-example streaming.NetworkWordCount localhost 9999无法正常运行： 2、启动过程如上所示，下面就是问题，当在nc -lk 9999命令窗口，输入例如hello world hello world hadoop worl 阅读全文
posted @ 2018-04-23 16:46 别先生 阅读(2492) 评论(0) 推荐(0) 编辑
exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
摘要：1、虽然，不是大错，还说要贴一下，由于我运行run-example streaming.NetworkWordCount localhost 9999的测试案例，出现的错误，第一感觉就是Spark没有启动导致的： 2、启动Spark的脚本命令： [hadoop@slaver1 spark-1.5.1 阅读全文
posted @ 2018-04-23 15:35 别先生 阅读(8100) 评论(0) 推荐(0) 编辑
执行Spark运行在yarn上的命令报错 spark-shell --master yarn-client
摘要：1、执行Spark运行在yarn上的命令报错 spark-shell --master yarn-client，错误如下所示： 解决方法如下所示: 参考文章：https://blog.csdn.net/chengyuqiang/article/details/69934382 HADOOP_CONF 阅读全文
posted @ 2018-04-22 21:43 别先生 阅读(4327) 评论(0) 推荐(0) 编辑
Linux环境安装Eclipse工具开发
摘要：1、官网下载maven：https://maven.apache.org/download.cgi 2、上传到虚拟机进行解压缩操作： [hadoop@slaver1 package]$ tar -zxvf apache-maven-3.5.3-bin.tar.gz -C /home/hadoop/s 阅读全文
posted @ 2018-04-17 16:14 别先生 阅读(5491) 评论(0) 推荐(0) 编辑
实现虚拟机VMware上Centos操作系统与主机windows之间互相复制与粘贴
摘要：1、启动你的虚拟机，然后点击虚拟机，如下所示(未安装的话，显示的是安装VMware Tools): 2、点击安装Vmware tools以后显示如下所示： 3、VMwareTools-9.9.2-2496486.tar.gz拷贝到/tmp目录下。 4、在进入/tmp目录下解压VMwareTools- 阅读全文
posted @ 2018-04-17 11:46 别先生 阅读(14641) 评论(1) 推荐(0) 编辑
Oozie如何和安装部署
摘要：1、Oozie的简单介绍： 1、Oozie是一个工作流引擎服务器，用于运行hadoop map/reduce和hive等任务工作流，同时Oozie还是一个Java web程序，运行在Java Servlet容器中，如Tomcat中。Oozie以action为基本任务单元，可以将多个action构成一 阅读全文
posted @ 2018-04-15 14:59 别先生 阅读(4689) 评论(3) 推荐(0) 编辑
org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address 0.0.0.0/0.0.0.0:9083.
摘要：1、启动hive的过程中，[hadoop@slaver1 soft]$ hive --service metastore &错误如下所示： 原因：之前启动hive失败了，但是进程以及启动起来，使用jps命令查看，然后使用kill -9 进程号，杀死重启即可。 操作如下所示： 阅读全文
posted @ 2018-04-15 10:18 别先生 阅读(16454) 评论(1) 推荐(2) 编辑
Swap file ".hive-site.xml.swp" already exists
摘要：1、使用命令[hadoop@slaver1 conf]ls−la查找出隐藏文件，然后删除报出来的错误文件。[hadoop@slaver1conf] rm -rf .hive-site.xml.swp 阅读全文
posted @ 2018-04-13 21:23 别先生 阅读(530) 评论(0) 推荐(0) 编辑
Hbase启动hbase shell运行命令报Class path contains multiple SLF4J bindings.错误
摘要：1：Hbase启动hbase shell运行命令报Class path contains multiple SLF4J bindings.错误，是因为jar包冲突了，所以对于和hadoop的jar包冲突的，可以将其他jar包删除，如果你不确定是否删除正确，可以将其他的jar包复制备份或者修改名称，确 阅读全文
posted @ 2018-04-08 13:10 别先生 阅读(8198) 评论(0) 推荐(0) 编辑
hbase启动后HMaster进程自动关闭
摘要：1、情况描述如题所示，hbase启动以后，HMaster进程启动了，几秒钟以后自动关闭，但是HRegionServer进程正常运行； 原因是，hdfs的默认端口号是8020，而我core-site.xml中将hdfs的端口修改为了9000。 但是在我们并没有指定hdfs的端口，所以在hbase启动后 阅读全文
posted @ 2018-04-07 20:25 别先生 阅读(7917) 评论(0) 推荐(0) 编辑
Hadoop数据分析平台项目实战(基于CDH版本集群部署与安装)
摘要：1、Hadoop的主要应用场景： a、数据分析平台。 b、推荐系统。 c、业务系统的底层存储系统。 d、业务监控系统。 2、开发环境：Linux集群(Centos64位)+Window开发模式(window10,64位操作系统)。 使用技术：hadoop,hbase,hive,flume,oozie 阅读全文
posted @ 2018-04-07 17:48 别先生 阅读(3874) 评论(0) 推荐(0) 编辑
Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
摘要：1、window操作系统的eclipse运行wordcount程序出现如下所示的错误: 暂时解决方法如下所示： Windows的唯一方法用于检查当前进程的请求，在给定的路径的访问权限，所以我们先给以能进行访问，我们自己先修改源代码，return true 时允许访问。我们下载对应hadoop源代码， 阅读全文
posted @ 2018-04-06 21:56 别先生 阅读(2998) 评论(0) 推荐(0) 编辑
Exception in thread "main" java.lang.NullPointerException
摘要：1、在window操作系统上，使用eclipse开发工具从hdfs分布式文件系统上下载文件报空指针异常解决方法： 2、将hadoop-2.5.0-cdh5.3.6.tar.gz文件在window操作系统解压缩，配置好环境变量。 然后验证一下是否配置成功，操作如window+R，输入cmd： 然后将如 阅读全文
posted @ 2018-04-06 17:38 别先生 阅读(15714) 评论(0) 推荐(0) 编辑
eclipse工具下hadoop环境搭建
摘要：eclipse工具下hadoop环境搭建: window10操作系统中搭建eclipse64开发系统，配置hadoop的eclipse插件，让eclipse可以查看Hdfs中的文件内容。 1、将hadoop-eclipse-plugin-2.5.2.jar文件移动到eclipse的plugins文件 阅读全文
posted @ 2018-04-06 10:39 别先生 阅读(553) 评论(0) 推荐(0) 编辑

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

Powered by: 博客园 Copyright © 2025 别先生
Powered by .NET 9.0 on Kubernetes
点击右上角即可分享
微信分享提示