摘要: YUM降级基本用法 当包没有任何依赖关系时,降级是非常简单的。 YUM降级(没有依赖) YUM降级(有依赖) 对于具有依赖关系的包,YUM降级更加困难。YUM降级不会自动解决依赖关系,因此必须手动完成。 YUM降级包和依赖关系 阅读全文
posted @ 2019-01-24 10:54 粑粑蓉子 阅读(16081) 评论(0) 推荐(1) 编辑
摘要: spark的四种分布式运行模式 如图所示,上方为spark的架构图,spark的组件可以分为四个部分,driver、cluster Manager、worker和executor根据clusterManager的不同,spark可以分成四种不同的运行模式,standalone、local clust 阅读全文
posted @ 2019-01-21 16:40 粑粑蓉子 阅读(1419) 评论(0) 推荐(0) 编辑
摘要: 1 .背景 flume是由cloudera软件公司产出的可分布式日志收集系统,后与2009年被捐赠了apache软件基金会,为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出,特别是flume-ng;同时flume内部的各种组件不断丰富,用户在开发的过程中使用的便 阅读全文
posted @ 2019-01-14 11:14 粑粑蓉子 阅读(1172) 评论(0) 推荐(0) 编辑
摘要: 一、准备工作 1、项目描述 通过对黑马技术论坛的apache common日志进行分析, 计算论坛关键指标,供运营者决策。2、数据情况 每行记录有5部分组成: 访问ip 、访问时间 、访问资源【跟着两个访问的Url】、访问状态 、本次流量 截取部分数据如下: 3、关键指标 ⊙浏览量PV 定义:页面浏 阅读全文
posted @ 2019-01-08 17:16 粑粑蓉子 阅读(760) 评论(0) 推荐(0) 编辑
摘要: 搭环境,只需配置Java_home就好了。 写一个a2.conf文件 执行参考:bin/flume-ng agent -n a2 -f /home/hadoop/a2.conf -c conf -Dflume.root.logger=INFO,console a2.conf #定义agent名, s 阅读全文
posted @ 2019-01-07 16:46 粑粑蓉子 阅读(451) 评论(0) 推荐(0) 编辑
摘要: 关系的分类(假设是A表和B表) 第一种分类: 一对一 (详述一对一关系及其实现)(一对一,几乎不使用。所以,我们就一句话带过。) 一对一的实现:既可以把表A的主键充当表B的外键,也可以把表B的主键充当表A的外键。 一对多 和 多对多 才是我们学习的重点。 第二种分类:一对多 (详述一对多关系及其实现 阅读全文
posted @ 2019-01-03 19:04 粑粑蓉子 阅读(1393) 评论(0) 推荐(0) 编辑
摘要: HBase1.0.1.1 API与原来有所不同 1 package com.felix.hbaseapi_test; 2 3 /* 这是旧版的 API操作 */ 16 public class hbaseapifelix { 17 18 public static final String TABL 阅读全文
posted @ 2019-01-02 17:33 粑粑蓉子 阅读(276) 评论(0) 推荐(0) 编辑
摘要: 一、简介 history started by chad walters and jim 2006.11 G release paper on BigTable 2007.2 inital HBase prototype created as Hadoop contrib 2007.10 First 阅读全文
posted @ 2019-01-02 17:32 粑粑蓉子 阅读(269) 评论(0) 推荐(1) 编辑
摘要: Extract Local Variable 自动生成返回值对象 alt+shift+L 查询快键键Ctrl+Shift+L 先输入sysout,然后输入辅助快捷键:Alt+/,这样就可以自动生成:System.out.println(); shift+ alt+ s override/implem 阅读全文
posted @ 2018-12-29 19:08 粑粑蓉子 阅读(241) 评论(0) 推荐(0) 编辑
摘要: 1.上传hbase安装包 2.解压 3.配置hbase集群,要修改3个文件(首先zk集群已经安装好了) 注意:要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下(因为hbase不知道ns1里面对应什么) 3.1修改hbase-env.sh expor 阅读全文
posted @ 2018-12-29 15:48 粑粑蓉子 阅读(231) 评论(0) 推荐(0) 编辑