03 2019 档案
摘要：package transfor; import java.io.*; import java.net.HttpURLConnection; import java.net.URL; import java.util.ArrayList; public class demo { private static ArrayList filelist = new ArrayList(); ...
阅读全文
摘要：python: java:
阅读全文
摘要：1,首先确保hadoop和spark已经运行。（如果是基于yarn，hdfs的需要启动hadoop,否则hadoop不需要启动）。 2.打开idea，创建maven工程。编辑pom.xml文件。增加dependency. <dependency> <!-- Spark dependency -->
阅读全文
摘要：1.启动spark集群。 启动Hadoop集群 cd /usr/local/hadoop/ sbin/start-all.sh 启动Spark的Master节点和所有slaves节点 cd /usr/local/spark/ sbin/start-master.sh sbin/start-slave
阅读全文
摘要：apache的各个软件各个版本下载： http://archive.apache.org/dist/ 1.下载spark. sudo tar -zxf ~/下载/spark-2.0.2-bin-without-hadoop.tgz -C /usr/local/ cd /usr/local sudo
阅读全文
摘要：1. sudo vim /etc/hostname 在master的机器上，改成 master 在slave上写 slave01,02,03...... 配置好后重启。 2. sudo vim /etc/hosts （此处最好改成内网中服务器的真实ip,不要用浮动ip，否则会出现“Problem b
阅读全文
摘要：虽然可以正常运行，但是会出异常，现给出解决方法。 1.问题： 2. 问题解决： 仔细查看报错是缺少winutils.exe程序。 Hadoop都是运行在Linux系统下的，在windows下eclipse中运行mapreduce程序，要首先安装Windows下运行的支持插件 3. 安装并配置插件(我
阅读全文
摘要：1.起初使用ycsb对hbase进行benchmark，分别在100%写的情况下检测写性能；在100%读的情况下检测读的性能。实验数据如下： 2.新版本的habse写性能竟然不如老版本。！！！。于是我从头梳理了hbase的原理和新老版本的配置，参数等等。认为新版本的读写性能应该比旧版本好，于是不甘心
阅读全文
摘要：http://www.glorze.com/876.html
阅读全文
摘要：open_diff = open('yanggao.txt', 'r',encoding='utf-8')diff_line = open_diff.readlines()diff_match_split = [diff_line[i:i + 100] for i in range(0, len(d
阅读全文
摘要：Ycsb下载地址：https://github.com/brianfrankcooper/YCSB/releases 目前测试hbase0.94.11，因此下载ycsb-0.1.4.tar.gz 1． 解压缩ycsb: sudo tar -zxvf ycsb-0.1.4.tar.gz -C /usr
阅读全文
摘要：Ycsb下载地址：https://github.com/brianfrankcooper/YCSB/releases 目前测试hbase1.4.9，因此下载ycsb-hbase14-binding-0.15.0.tar.gz 。 （测试是在伪分布式下进行。） 1． 解压缩ycsb: sudo tar
阅读全文
摘要：Hbase从0.94.11升级到stable的1.4.9版本： 升级思路: hadoop1.1.2 hbase 0.94.11 ↓ hadoop1.1.2 hbase 0.96.0-hadoop1 ↓ hadoop1.1.2 hbase 0.98.0-hadoop1 ↓ Hadoop2.2.0 hb
阅读全文
摘要：https://www.jianshu.com/p/990bb550be3b hbase0.94.11（hadoop为1.1.2，此电脑ip为172.19.32.128）向hbase1.1.2 (hadoop为2.6.5，此电脑ip为172.19.32.118)数据迁移. 第一步：首先必须关闭防火墙
阅读全文
摘要：Hadoop 1.1.2 和Hbase 0.94.11版本配置 测试时ip 172.19.32.128 这个版本需要把/etc/hosts的aa-vm改成127.0.0.1,也就是和localhost一致。否则hbase会出现master在初始化（出现此问题还可能是时间不同步） 1.更新apt Su
阅读全文
摘要：1.注意hadoop和hbase的版本兼容问题 目前测试用：hadoop 2.6.5 Hbase 1.1.2 2.创建hadoop用户 Sudo useradd –m hadoop –s /bin/bash 创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为 shel. Sudo
阅读全文
