摘要: Java使用API访问Hbase报错: 我的hbase主节点是spark1 java代码访问hbase的时候写的是ip 结果运行程序报错 不能够识别主机名 修改主机名 修改主机hosts文件,添加主机Habse主机名 阅读全文
posted @ 2018-11-22 16:53 Z、某某 阅读(3342) 评论(0) 推荐(0) 编辑
摘要: jps发现namenode启动失败 每次开机都要重新格式化一下namenode才可以 其实问题出现自tmp文件上,因为每次开机就会被清空,所以现在我们配置一个tmp文件目录。 如果之前没有配置过,默认是在 /tmp 根目录下的tmp文件下,我的tmp没啥重要文件所以在配置之前,把里面的文件清空了 首 阅读全文
posted @ 2018-11-22 16:31 Z、某某 阅读(1151) 评论(0) 推荐(1) 编辑
摘要: 1、检查是否正确的启动了resourcemanager服务 若是没有启动,请检查yarn-site-xml配置 2、若是启动了 1、检查客户机和虚拟机之间是否能够相互ping通 2、检查虚拟机防火墙是否关闭 3、排查 1、首先,各个虚拟机和客户端之前都能ping通,虚拟机都能上外网,说明网络没有问题 阅读全文
posted @ 2018-11-22 16:25 Z、某某 阅读(15793) 评论(0) 推荐(1) 编辑
摘要: Namenode 故障后,可以采用如下两种方法恢复数据: 方法一:将 SecondaryNameNode 中数据拷贝到 namenode 存储数据的目录; 方法 二: 使用 -importCheckpoint 选项 启动 namenode 守 护 进 程 , 从 而 将SecondaryNameNo 阅读全文
posted @ 2018-11-22 15:38 Z、某某 阅读(681) 评论(0) 推荐(0) 编辑
摘要: 当我们开启虚拟机时出现错误: VMware Workstation cannot connect to the virtual machine. Make sure you have rights to run the program, access all directories the prog 阅读全文
posted @ 2018-11-22 15:29 Z、某某 阅读(1185) 评论(0) 推荐(0) 编辑
摘要: HBase 部署与使用 部署 Zookeeper 正常部署 $ ~/modules/zookeeper-3.4.5/bin/zkServer.sh start 首先保证 Zookeeper 集群的正常部署,并启动之: Hadoop 正常部署 $ ~/modules/hadoop-2.7.2/sbin 阅读全文
posted @ 2018-11-21 20:09 Z、某某 阅读(274) 评论(0) 推荐(0) 编辑
摘要: 1、通过反射的方式 使用反射来推断包含特定数据类型的RDD,这种方式代码比较少,简洁,只要你会知道元数据信息时什么样,就可以使用了 代码如下: 2、通过编程接口的方式 你可以自己动态的构建一份元数据,这种代码比较多,但是适合你不知道元数据的时候使用,一般都用这种方式 代码如下: 阅读全文
posted @ 2018-11-21 19:41 Z、某某 阅读(416) 评论(0) 推荐(0) 编辑
摘要: import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apac... 阅读全文
posted @ 2018-11-17 20:32 Z、某某 阅读(477) 评论(0) 推荐(0) 编辑
摘要: SparkStreaming的Receiver方式和直连方式有什么区别? Receiver接收固定时间间隔的数据(放在内存中的),使用高级API,自动维护偏移量,达到固定的时间才去进行处理,效率低并且容易丢失数据,灵活性特别差,不好,而且它处理数据的时候,如果某一刻的数据量过大,那么就会造成磁盘溢写 阅读全文
posted @ 2018-11-17 20:12 Z、某某 阅读(1390) 评论(0) 推荐(0) 编辑
摘要: 当我们生产者生产json 文件的时候 消费时用JSON读文件时,如下: Job aborted due to stage failure: Task 1 in stage 0.0 failed 1 times, most recent failure: Lost task 1.0 in stage  阅读全文
posted @ 2018-11-17 16:16 Z、某某 阅读(1558) 评论(0) 推荐(0) 编辑