随笔分类 -  hadoop

摘要:https://www.cnblogs.com/chaoren399/articles/4749513.html 集群的概念 计算机集群是一种计算机系统, 它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。 l 集群系统中的单个计算机通常称为节点,通常通过局域网连接。 l 集群技术的特点: 通过多台计算机完成同一个工作。达到更高的效率 两机或多机内容、工作过... 阅读全文
posted @ 2019-04-15 11:01 农民阿姨 阅读(812) 评论(0) 推荐(0) 编辑
摘要:一.准备环境 1.host 本人准备了三台服务器, vim /etc/hosts 2.免密 SSH 一直按回车 配置本地的免登录 配置其他节点 OK .测试一下是否成功: ssh dk21, ssh dk31 出现 说明成功 3. 关闭防火墙 4.同步集群的时间(ntp) 5. 关闭 selinux 阅读全文
posted @ 2017-03-14 15:22 农民阿姨 阅读(3338) 评论(1) 推荐(1) 编辑
摘要:1.进入 Hbase shell 2. 命令 ` ` 阅读全文
posted @ 2016-05-12 09:07 农民阿姨 阅读(146) 评论(0) 推荐(0) 编辑
摘要:62 kafka 安装 : flume 整合 kafka 一.kafka 安装 1.下载 http://kafka.apache.org/downloads.html 2. 解压 tar zxvf kafka_2.10 0.8.1.1.tgz 3.启动服务 3.1 首先启动zookeeper服务 b 阅读全文
posted @ 2016-05-10 21:50 农民阿姨 阅读(2581) 评论(0) 推荐(0) 编辑
摘要:flume 1.6安装1.解压 2.复制 cp conf/flume-conf.properties.template conf/flume.conf cp conf/flume-env.sh.template conf/flume-env.sh 3. 修改 JAVA_HOME flume-env. 阅读全文
posted @ 2016-05-07 14:55 农民阿姨 阅读(531) 评论(0) 推荐(0) 编辑
摘要:项目描述: 今天花了680元买了阿里云的一台内存1G, 带宽1M 的云主机. 想以后方便测试用,而且想把自己的博客签到自己的主机上.所以自己就搭了一个测试的环境. 可以用来进行基本的hbase 入库, hadoop mrjob 的运行. 步骤: 1.配置JDK 我的安装路径如下:/usr/local 阅读全文
posted @ 2015-12-04 10:24 农民阿姨 阅读(1674) 评论(0) 推荐(0) 编辑
摘要:1. 今天想做一个hdfs的java工具类,但是在连接hdfs的时候,报如下错误: Exception in thread "main" org.apache.hadoop.ipc.RemoteException: Server IPC version 9 cannot communicate with client version 4 at org.apache.hadoop.ipc.Cli... 阅读全文
posted @ 2015-11-30 17:27 农民阿姨 阅读(4307) 评论(0) 推荐(0) 编辑
摘要:1.Hbase 根据rowkey 查询 conf的配置信息如下: conf = new Configuration(); conf.set("hbase.zookeeper.quorum", "192.168.50.253:2181"); conf.set("hbase.rootdir", "hdfs://192.168.50.253:9000... 阅读全文
posted @ 2015-11-29 12:04 农民阿姨 阅读(3070) 评论(0) 推荐(0) 编辑
摘要:Hbase的基础操作 阅读全文
posted @ 2015-11-27 14:22 农民阿姨 阅读(172) 评论(0) 推荐(0) 编辑
摘要:1.注意问题: 1.在开发过程中一定要导入hbase源码中的lib库否则出现如下错误 TableMapReducUtil 找不到什么…… 2.编码: import java.io.IOException; import java.text.ParseException; import java.text.SimpleDateFormat; import java.util.Date; impor... 阅读全文
posted @ 2015-11-18 17:21 农民阿姨 阅读(451) 评论(0) 推荐(0) 编辑
摘要:一、常用命令:(hbase shell 进入终端) 1.创建表: create 'users','user_id','address','info' 表users,有三个列族user_id,address,info 2.列出全部表 list 3.得到标的信息 describe‘users’ 4.删除表 disable 'users' drop 'users‘ 5.清空表 trunca... 阅读全文
posted @ 2015-09-19 11:02 农民阿姨 阅读(494) 评论(0) 推荐(0) 编辑
摘要:redis的常用命令主要分为两个方面、一个是键值相关命令、一个是服务器相关命令(redis-cli进入终端)1、键值相关命令keys * 取出当前所有的keyexists name 查看n是否有name这个keydel name 删除key name expire confirm 100 设置con... 阅读全文
posted @ 2015-09-17 18:07 农民阿姨 阅读(854) 评论(0) 推荐(0) 编辑
摘要:加入一个新的存储节点和删除一个计算节点需要刷新集群状态命令 方式1:静态添加datanode,停止namenode方式 1.停止namenode 2.修改slaves文件,并更新到各个节点3.启动namenode 4.执行hadoop balance命令。(此项为balance集群使用,如果只是添加节点,则此步骤不需要) ----------------------------------... 阅读全文
posted @ 2015-09-01 22:27 农民阿姨 阅读(912) 评论(0) 推荐(0) 编辑
摘要:Hive mysql的metastore安装准备(***掌握***) 在nameNode1机子上实践: 把hive-0.12.0.tar.gz解压到/itcast/ # tar -zxvf hive-0.12.0.tar.gz -C /itcast 修改/etc/profile文件,将hive加入环境变量 # vim /etc/profile export JAVA_HOME=/usr/java/... 阅读全文
posted @ 2015-08-28 23:06 农民阿姨 阅读(267) 评论(0) 推荐(0) 编辑
摘要:安装MongoDB的方法有很多种,可以源代码安装,在Centos也可以用yum源安装的方法。由于MongoDB更新得比较快,我比较喜欢用yum源安装的方法。64位Centos下的安装步骤如下: 1、准备工作 运行yum命令查看MongoDB的包信息 [root@localhost~]# yum info mongo-10gen (提示没有相关匹配的信息,) 说明你的centos系统中的yu... 阅读全文
posted @ 2015-08-20 13:22 农民阿姨 阅读(321) 评论(0) 推荐(0) 编辑
摘要:impala 是基于hive的大数据实时分析查询引擎,直接使用Hive的元数据库metadata意味着impala元数据都存储在hive的metadstore中并且impala兼容hive的sql解析,实现了hive得sql语义子集,功能还在不断完善中。shell命令impala-shell 命令用... 阅读全文
posted @ 2015-08-19 22:58 农民阿姨 阅读(528) 评论(0) 推荐(0) 编辑
摘要:1.pom 配置 org.apache.storm storm-core 0.9.3 commons-io commons-io 2.4 阅读全文
posted @ 2015-08-19 07:34 农民阿姨 阅读(190) 评论(0) 推荐(0) 编辑
摘要:Hadoop之Storm命令1.storm核心概念stream--->一列火车tuple--->一节车厢数据--->乘客spout--->始发站bolt--->中间站点bolt--->中间站点bolt--->终点topology(拓扑) 阅读全文
posted @ 2015-08-19 07:33 农民阿姨 阅读(156) 评论(0) 推荐(0) 编辑
摘要:nimbus:主节点,负责分发代码,分配任务(只能有一个)supervisor:从节点,负责执行任务(可以有多个)jdkzookeeper(192.168.1.170/171/172)建议在zookeeper的节点上设置一个crontab定时任务,同步时间:* * * * * /usr/sbin/n... 阅读全文
posted @ 2015-08-19 07:32 农民阿姨 阅读(419) 评论(0) 推荐(0) 编辑
摘要:如何编译Apache Hadoop2.6.0源代码 1.安装CentOS 我使用的是CentOS6.5,下载地址是http://mirror.neu.edu.cn/centos/6.5/isos/x86_64/,选择CentOS-6.5-x86_64-bin-DVD1.iso 下载,注意是64位的, 阅读全文
posted @ 2015-08-16 22:15 农民阿姨 阅读(420) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示