2019年3月25日
向Spark集群提交任务
摘要： 1.启动spark集群。 启动Hadoop集群 cd /usr/local/hadoop/ sbin/start-all.sh 启动Spark的Master节点和所有slaves节点 cd /usr/local/spark/ sbin/start-master.sh sbin/start-slave 阅读全文
posted @ 2019-03-25 14:58 _Meditation 阅读(1325) 评论(0) 推荐(0) 编辑
分布式配置 Spark 2.0版本 2.1版本 1.6版本
摘要： apache的各个软件各个版本下载： http://archive.apache.org/dist/ 1.下载spark. sudo tar -zxf ~/下载/spark-2.0.2-bin-without-hadoop.tgz -C /usr/local/ cd /usr/local sudo 阅读全文
posted @ 2019-03-25 14:03 _Meditation 阅读(620) 评论(0) 推荐(0) 编辑
分布式配置hadoop2.5.0 2.6.x
摘要： 1. sudo vim /etc/hostname 在master的机器上，改成 master 在slave上写 slave01,02,03...... 配置好后重启。 2. sudo vim /etc/hosts （此处最好改成内网中服务器的真实ip,不要用浮动ip，否则会出现“Problem b 阅读全文
posted @ 2019-03-25 11:37 _Meditation 阅读(192) 评论(0) 推荐(0) 编辑
2019年3月22日
Could not locate executable null\bin\winutils.exe in the Hadoop binaries解决方式 spark运行wordcoult
摘要： 虽然可以正常运行，但是会出异常，现给出解决方法。 1.问题： 2. 问题解决： 仔细查看报错是缺少winutils.exe程序。 Hadoop都是运行在Linux系统下的，在windows下eclipse中运行mapreduce程序，要首先安装Windows下运行的支持插件 3. 安装并配置插件(我 阅读全文
posted @ 2019-03-22 16:21 _Meditation 阅读(1813) 评论(0) 推荐(1) 编辑
2019年3月21日
hbase0.94.11版本和hbase1.4.9版本的benchamark区别
摘要： 1.起初使用ycsb对hbase进行benchmark，分别在100%写的情况下检测写性能；在100%读的情况下检测读的性能。实验数据如下： 2.新版本的habse写性能竟然不如老版本。！！！。于是我从头梳理了hbase的原理和新老版本的配置，参数等等。认为新版本的读写性能应该比旧版本好，于是不甘心 阅读全文
posted @ 2019-03-21 16:30 _Meditation 阅读(457) 评论(0) 推荐(0) 编辑
2019年3月17日
idea 配置
摘要： http://www.glorze.com/876.html 阅读全文
posted @ 2019-03-17 12:17 _Meditation 阅读(115) 评论(0) 推荐(0) 编辑
2019年3月16日
python 将列表（也可以是file.readlines()）输出多个文件
摘要： open_diff = open('yanggao.txt', 'r',encoding='utf-8')diff_line = open_diff.readlines()diff_match_split = [diff_line[i:i + 100] for i in range(0, len(d 阅读全文
posted @ 2019-03-16 12:43 _Meditation 阅读(773) 评论(0) 推荐(0) 编辑
2019年3月11日
使用ycsb对hbase0.94.11 benchmark
摘要： Ycsb下载地址：https://github.com/brianfrankcooper/YCSB/releases 目前测试hbase0.94.11，因此下载ycsb-0.1.4.tar.gz 1． 解压缩ycsb: sudo tar -zxvf ycsb-0.1.4.tar.gz -C /usr 阅读全文
posted @ 2019-03-11 14:02 _Meditation 阅读(216) 评论(0) 推荐(0) 编辑
2019年3月5日
使用ycsb对hbase1.4.9 benchmark
摘要： Ycsb下载地址：https://github.com/brianfrankcooper/YCSB/releases 目前测试hbase1.4.9，因此下载ycsb-hbase14-binding-0.15.0.tar.gz 。 （测试是在伪分布式下进行。） 1． 解压缩ycsb: sudo tar 阅读全文
posted @ 2019-03-05 18:28 _Meditation 阅读(476) 评论(0) 推荐(0) 编辑
2019年3月4日
伪分布式hbase从0.94.11版本升级stable的1.4.9版本
摘要： Hbase从0.94.11升级到stable的1.4.9版本： 升级思路: hadoop1.1.2 hbase 0.94.11 ↓ hadoop1.1.2 hbase 0.96.0-hadoop1 ↓ hadoop1.1.2 hbase 0.98.0-hadoop1 ↓ Hadoop2.2.0 hb 阅读全文
posted @ 2019-03-04 11:23 _Meditation 阅读(810) 评论(0) 推荐(0) 编辑