爱生活，爱工作。

摘要： 1、使用命令[hadoop@slaver1 conf]$ ls -la查找出隐藏文件，然后删除报出来的错误文件。 [hadoop@slaver1 conf]$ rm -rf .hive-site.xml.swp 阅读全文

摘要： 1：Hbase启动hbase shell运行命令报Class path contains multiple SLF4J bindings.错误，是因为jar包冲突了，所以对于和hadoop的jar包冲突的，可以将其他jar包删除，如果你不确定是否删除正确，可以将其他的jar包复制备份或者修改名称，确 阅读全文

摘要： 1、情况描述如题所示，hbase启动以后，HMaster进程启动了，几秒钟以后自动关闭，但是HRegionServer进程正常运行； 原因是，hdfs的默认端口号是8020，而我core-site.xml中将hdfs的端口修改为了9000。 但是在我们并没有指定hdfs的端口，所以在hbase启动后 阅读全文

摘要： 1、Hadoop的主要应用场景： a、数据分析平台。 b、推荐系统。 c、业务系统的底层存储系统。 d、业务监控系统。 2、开发环境：Linux集群(Centos64位)+Window开发模式(window10,64位操作系统)。 使用技术：hadoop,hbase,hive,flume,oozie 阅读全文

摘要： 1、window操作系统的eclipse运行wordcount程序出现如下所示的错误: 暂时解决方法如下所示： Windows的唯一方法用于检查当前进程的请求，在给定的路径的访问权限，所以我们先给以能进行访问，我们自己先修改源代码，return true 时允许访问。我们下载对应hadoop源代码， 阅读全文

摘要： 1、在window操作系统上，使用eclipse开发工具从hdfs分布式文件系统上下载文件报空指针异常解决方法： 2、将hadoop-2.5.0-cdh5.3.6.tar.gz文件在window操作系统解压缩，配置好环境变量。 然后验证一下是否配置成功，操作如window+R，输入cmd： 然后将如 阅读全文

摘要： eclipse工具下hadoop环境搭建: window10操作系统中搭建eclipse64开发系统，配置hadoop的eclipse插件，让eclipse可以查看Hdfs中的文件内容。 1、将hadoop-eclipse-plugin-2.5.2.jar文件移动到eclipse的plugins文件 阅读全文

摘要： 1：遇到这个问题是在启动bin/spark-shell以后，然后呢，执行spark实现wordcount的例子的时候出现错误了，如： 执行上面操作之前我是这样启动我的spark-shell的，如下所示： 问题就出现在这里，首先你要知道自己笔记本的内存大小，如果你租的服务器内存应该可以满足你的需求，这 阅读全文

摘要： 1：练习spark的时候，操作大概如我读取hdfs上面的文件，然后spark懒加载以后，我读取详细信息出现如下所示的错误，错误虽然不大，我感觉有必要记录一下，因为错误的起因是对命令的不熟悉造成的，错误如下所示： 2：错误原因如下所示： 我使用了如下所示命令来读取hdfs上面的文件，scala> va 阅读全文

摘要： 1：由于在不同的地方开发同一个项目，就将项目上传到gitlab上面（可以创建私有项目，免费的），回到住的地方，项目下载下来老报错，自己摸索的，记录一下。自己记得把jdk啥的，maven依赖加一下。不然项目找不到web.xml就无法正常运行。第一次操作是找到web.xml文件。第二次操作是添加mave 阅读全文

摘要： 1：什么是Spark的RDD？？？ 2：RDD的属性： 3：创建RDD： 4：RDD编程API： 4.1：Transformation： RDD中的所有转换都是延迟加载的，也就是说，它们并不会直接计算结果。相反的，它们只是记住这些应用到基础数据集(例如一个文件)上的转换动作。只有当发生一个要求返回结 阅读全文

摘要： 1：spark shell仅在测试和验证我们的程序时使用的较多，在生产环境中，通常会在IDE中编制程序，然后打成jar包，然后提交到集群，最常用的是创建一个Maven项目，利用Maven来管理jar包的依赖。 2：配置Maven的pom.xml： <?xml version="1.0" encodi 阅读全文

摘要： 1：启动Spark Shell，spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下用scala编写spark程序。 启动Spark Shell，出现的错误如下所示： 2：解决方法，是你必须先启动你的Spark集群，这样再启动Spark Shel 阅读全文

摘要： 1：部署好项目，启动tomcat出现如下所示的错误，百度方法，挺多的，但是好像并没有解决我的问题，问题如下所示: 2：解决方法如下所示，以及问题分析： 原因如下所示，出现如下所示，是因为下载没有下载完整。所以删除了这个包，从新使用maven下载即可： 使用如下所示maven工具进行下载即可： 然后使 阅读全文

摘要： 1：解压mybatis_generator_1.3.1.zip文件。 2：把features，pougins文件夹copy到D:\java\eclipse\eclipse目录下（D:\java\eclipse\eclipse为eclipse的安装目录）。 3：进入D:\java\eclipse\ec 阅读全文

摘要： 1：Scala和Java的对比: 2:Scala之函数式编程: 3：Scala函数式编程之集合操作： 4：Scala之模式匹配(mathch case语法，即为模式匹配): 模式匹配是Scala中非常有特色的，非常强大的一种功能。模式匹配，其实类似于Java中的swich case语法，即对一个值进 阅读全文

摘要： 1：Scala之函数式编程学习笔记： 2：Scala之Object对象学习笔记： 3：Scala之伴生对象学习笔记： 4：Scala之继承学习笔记： 5：Scala之面向对象编程之Trait学习笔记： 待续...... 阅读全文

摘要： 前言：Scala的安装教程：http://www.cnblogs.com/biehongli/p/8065679.html 1：Scala之基础语法学习笔记： 2：Scala之条件控制学习笔记： 3：Scala之循环控制学习笔记： 4：Scala之函数学习笔记，面向对象和面向函数编程： 5：Scal 阅读全文

摘要： 步骤如下：a、假如topic1,具有如下partitions: P0,P1,P2,P3。b、加入group中,有如下consumer: C1,C2。c、首先根据partition索引号对partitions排序: P0,P1,P2,P3。d、根据consumer.id排序: C0,C1。e、计算倍数 阅读全文

摘要： 1：初次运行Strom程序出现如下所示的错误，贴一下，方便脑补，也希望帮助到看到的小伙伴： 错误如下所示，主要问题是刚开始使用maven获取jar包的时候需要写<scope>provided</scope>，运行的时候需要把这行注释了即可，这是作用域的问题，开始需要在本地下载jar包，但是在虚拟机运 阅读全文