会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
别先生
代码改变世界,你改变代码===>你改变世界。老铁,没毛病。Date:2017/11/22
爱生活,爱工作。
博客园
首页
新随笔
联系
订阅
管理
上一页
1
···
15
16
17
18
19
20
21
22
23
···
30
下一页
2018年4月13日
Swap file ".hive-site.xml.swp" already exists
摘要: 1、使用命令[hadoop@slaver1 conf]$ ls -la查找出隐藏文件,然后删除报出来的错误文件。 [hadoop@slaver1 conf]$ rm -rf .hive-site.xml.swp
阅读全文
posted @ 2018-04-13 21:23 别先生
阅读(524)
评论(0)
推荐(0)
编辑
2018年4月8日
Hbase启动hbase shell运行命令报Class path contains multiple SLF4J bindings.错误
摘要: 1:Hbase启动hbase shell运行命令报Class path contains multiple SLF4J bindings.错误,是因为jar包冲突了,所以对于和hadoop的jar包冲突的,可以将其他jar包删除,如果你不确定是否删除正确,可以将其他的jar包复制备份或者修改名称,确
阅读全文
posted @ 2018-04-08 13:10 别先生
阅读(7972)
评论(0)
推荐(0)
编辑
2018年4月7日
hbase启动后HMaster进程自动关闭
摘要: 1、情况描述如题所示,hbase启动以后,HMaster进程启动了,几秒钟以后自动关闭,但是HRegionServer进程正常运行; 原因是,hdfs的默认端口号是8020,而我core-site.xml中将hdfs的端口修改为了9000。 但是在我们并没有指定hdfs的端口,所以在hbase启动后
阅读全文
posted @ 2018-04-07 20:25 别先生
阅读(7854)
评论(0)
推荐(0)
编辑
Hadoop数据分析平台项目实战(基于CDH版本集群部署与安装)
摘要: 1、Hadoop的主要应用场景: a、数据分析平台。 b、推荐系统。 c、业务系统的底层存储系统。 d、业务监控系统。 2、开发环境:Linux集群(Centos64位)+Window开发模式(window10,64位操作系统)。 使用技术:hadoop,hbase,hive,flume,oozie
阅读全文
posted @ 2018-04-07 17:48 别先生
阅读(3839)
评论(0)
推荐(0)
编辑
2018年4月6日
Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
摘要: 1、window操作系统的eclipse运行wordcount程序出现如下所示的错误: 暂时解决方法如下所示: Windows的唯一方法用于检查当前进程的请求,在给定的路径的访问权限,所以我们先给以能进行访问,我们自己先修改源代码,return true 时允许访问。我们下载对应hadoop源代码,
阅读全文
posted @ 2018-04-06 21:56 别先生
阅读(2962)
评论(0)
推荐(0)
编辑
Exception in thread "main" java.lang.NullPointerException
摘要: 1、在window操作系统上,使用eclipse开发工具从hdfs分布式文件系统上下载文件报空指针异常解决方法: 2、将hadoop-2.5.0-cdh5.3.6.tar.gz文件在window操作系统解压缩,配置好环境变量。 然后验证一下是否配置成功,操作如window+R,输入cmd: 然后将如
阅读全文
posted @ 2018-04-06 17:38 别先生
阅读(15697)
评论(0)
推荐(0)
编辑
eclipse工具下hadoop环境搭建
摘要: eclipse工具下hadoop环境搭建: window10操作系统中搭建eclipse64开发系统,配置hadoop的eclipse插件,让eclipse可以查看Hdfs中的文件内容。 1、将hadoop-eclipse-plugin-2.5.2.jar文件移动到eclipse的plugins文件
阅读全文
posted @ 2018-04-06 10:39 别先生
阅读(547)
评论(0)
推荐(0)
编辑
2018年3月18日
18/03/18 04:53:44 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
摘要: 1:遇到这个问题是在启动bin/spark-shell以后,然后呢,执行spark实现wordcount的例子的时候出现错误了,如: 执行上面操作之前我是这样启动我的spark-shell的,如下所示: 问题就出现在这里,首先你要知道自己笔记本的内存大小,如果你租的服务器内存应该可以满足你的需求,这
阅读全文
posted @ 2018-03-18 20:06 别先生
阅读(7937)
评论(2)
推荐(0)
编辑
java.net.ConnectException: Call From slaver1/192.168.19.128 to slaver1:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org
摘要: 1:练习spark的时候,操作大概如我读取hdfs上面的文件,然后spark懒加载以后,我读取详细信息出现如下所示的错误,错误虽然不大,我感觉有必要记录一下,因为错误的起因是对命令的不熟悉造成的,错误如下所示: 2:错误原因如下所示: 我使用了如下所示命令来读取hdfs上面的文件,scala> va
阅读全文
posted @ 2018-03-18 15:42 别先生
阅读(2259)
评论(0)
推荐(0)
编辑
2018年2月25日
从gitlab下载下来的maven无法运行,老报404解决方法
摘要: 1:由于在不同的地方开发同一个项目,就将项目上传到gitlab上面(可以创建私有项目,免费的),回到住的地方,项目下载下来老报错,自己摸索的,记录一下。自己记得把jdk啥的,maven依赖加一下。不然项目找不到web.xml就无法正常运行。第一次操作是找到web.xml文件。第二次操作是添加mave
阅读全文
posted @ 2018-02-25 13:29 别先生
阅读(681)
评论(0)
推荐(0)
编辑
2018年2月23日
Spark核心RDD、什么是RDD、RDD的属性、创建RDD、RDD的依赖以及缓存、
摘要: 1:什么是Spark的RDD??? 2:RDD的属性: 3:创建RDD: 4:RDD编程API: 4.1:Transformation: RDD中的所有转换都是延迟加载的,也就是说,它们并不会直接计算结果。相反的,它们只是记住这些应用到基础数据集(例如一个文件)上的转换动作。只有当发生一个要求返回结
阅读全文
posted @ 2018-02-23 18:25 别先生
阅读(1589)
评论(0)
推荐(0)
编辑
在IDEA中编写Spark的WordCount程序
摘要: 1:spark shell仅在测试和验证我们的程序时使用的较多,在生产环境中,通常会在IDE中编制程序,然后打成jar包,然后提交到集群,最常用的是创建一个Maven项目,利用Maven来管理jar包的依赖。 2:配置Maven的pom.xml: <?xml version="1.0" encodi
阅读全文
posted @ 2018-02-23 18:03 别先生
阅读(16146)
评论(0)
推荐(1)
编辑
2018年2月22日
Caused by: java.net.ConnectException: Connection refused: master/192.168.3.129:7077
摘要: 1:启动Spark Shell,spark-shell是Spark自带的交互式Shell程序,方便用户进行交互式编程,用户可以在该命令行下用scala编写spark程序。 启动Spark Shell,出现的错误如下所示: 2:解决方法,是你必须先启动你的Spark集群,这样再启动Spark Shel
阅读全文
posted @ 2018-02-22 17:58 别先生
阅读(13810)
评论(0)
推荐(0)
编辑
2018年2月18日
java.util.zip.ZipException: invalid LOC header (bad signature)
摘要: 1:部署好项目,启动tomcat出现如下所示的错误,百度方法,挺多的,但是好像并没有解决我的问题,问题如下所示: 2:解决方法如下所示,以及问题分析: 原因如下所示,出现如下所示,是因为下载没有下载完整。所以删除了这个包,从新使用maven下载即可: 使用如下所示maven工具进行下载即可: 然后使
阅读全文
posted @ 2018-02-18 18:04 别先生
阅读(16122)
评论(1)
推荐(0)
编辑
mybatis_generator_逆向工程的使用笔记
摘要: 1:解压mybatis_generator_1.3.1.zip文件。 2:把features,pougins文件夹copy到D:\java\eclipse\eclipse目录下(D:\java\eclipse\eclipse为eclipse的安装目录)。 3:进入D:\java\eclipse\ec
阅读全文
posted @ 2018-02-18 14:36 别先生
阅读(682)
评论(0)
推荐(0)
编辑
2018年2月8日
Scala学习教程笔记三之函数式编程、集合操作、模式匹配、类型参数、隐式转换、Actor、
摘要: 1:Scala和Java的对比: 2:Scala之函数式编程: 3:Scala函数式编程之集合操作: 4:Scala之模式匹配(mathch case语法,即为模式匹配): 模式匹配是Scala中非常有特色的,非常强大的一种功能。模式匹配,其实类似于Java中的swich case语法,即对一个值进
阅读全文
posted @ 2018-02-08 10:30 别先生
阅读(610)
评论(0)
推荐(0)
编辑
2018年1月28日
Scala学习教程笔记二之函数式编程、Object对象、伴生对象、继承、Trait、
摘要: 1:Scala之函数式编程学习笔记: 2:Scala之Object对象学习笔记: 3:Scala之伴生对象学习笔记: 4:Scala之继承学习笔记: 5:Scala之面向对象编程之Trait学习笔记: 待续......
阅读全文
posted @ 2018-01-28 21:50 别先生
阅读(2190)
评论(0)
推荐(0)
编辑
Scala学习教程笔记一之基础语法,条件控制,循环控制,函数,数组,集合
摘要: 前言:Scala的安装教程:http://www.cnblogs.com/biehongli/p/8065679.html 1:Scala之基础语法学习笔记: 2:Scala之条件控制学习笔记: 3:Scala之循环控制学习笔记: 4:Scala之函数学习笔记,面向对象和面向函数编程: 5:Scal
阅读全文
posted @ 2018-01-28 11:36 别先生
阅读(519)
评论(0)
推荐(0)
编辑
2018年1月23日
Kafka的生产者和消费者代码解析
摘要: 步骤如下:a、假如topic1,具有如下partitions: P0,P1,P2,P3。b、加入group中,有如下consumer: C1,C2。c、首先根据partition索引号对partitions排序: P0,P1,P2,P3。d、根据consumer.id排序: C0,C1。e、计算倍数
阅读全文
posted @ 2018-01-23 14:16 别先生
阅读(13457)
评论(2)
推荐(3)
编辑
2018年1月19日
Caused by: java.lang.ClassNotFoundException: backtype.storm.topology.IRichSpout
摘要: 1:初次运行Strom程序出现如下所示的错误,贴一下,方便脑补,也希望帮助到看到的小伙伴: 错误如下所示,主要问题是刚开始使用maven获取jar包的时候需要写<scope>provided</scope>,运行的时候需要把这行注释了即可,这是作用域的问题,开始需要在本地下载jar包,但是在虚拟机运
阅读全文
posted @ 2018-01-19 14:44 别先生
阅读(4960)
评论(0)
推荐(0)
编辑
上一页
1
···
15
16
17
18
19
20
21
22
23
···
30
下一页