摘要: 1、面向对象的特征有哪些方面? 【基础】 答:面向对象的特征主要有以下几个方面: 1)抽象:抽象就是忽略一个主题中与当前目标无关的那些方面,以便更充分地注意与当前目标有关的方面。抽象并不打算了解全部问题,而只是选择其中的一部分,暂时不用部分细节。抽象包括两个方面,一是过程抽象,二是数据抽象。 2)继 阅读全文
posted @ 2019-04-17 17:18 Transkai 阅读(1616) 评论(0) 推荐(0) 编辑
摘要: 应聘Java笔试时可能出现问题及其答案 Java基础方面: 1、作用域public,private,protected,以及不写时的区别 答:区别如下: 作用域 当前类 同一package 子孙类 其他package public √ √ √ √ protected √ √ √ × default 阅读全文
posted @ 2019-04-17 17:02 Transkai 阅读(736) 评论(0) 推荐(0) 编辑
摘要: Etl目标 解析我们收集的日志数据,将解析后的数据保存到hbase中。这里选择hbase来存储数据的主要原因就是: hbase的宽表结构设计适合我们的这样多种数据格式的数据存储(不同event有不同的存储格式)。 在etl过程中,我们需要将我们收集得到的数据进行处理,包括ip地址解析、userAge 阅读全文
posted @ 2019-04-17 16:30 Transkai 阅读(1428) 评论(0) 推荐(0) 编辑
摘要: JsSDK设计规则在js sdk中我们需要收集launch、pageview、chargeRequest和eventDuration四种数据,所以我们需要在js中写入四个方法来分别收集这些数据,另外我们还需要提供一些操作cookie和发送数据的的公用方法。 SDK测试 启动集群上的hdfs+ngin 阅读全文
posted @ 2019-04-17 15:57 Transkai 阅读(627) 评论(0) 推荐(0) 编辑
摘要: JavaSDK设计规则 JavaSDK提供两个事件触发方法,分别为onChargeSuccess和onChargeRefund。我们在java sdk中通过一个单独的线程来发送线程数据,这样可以减少对业务系统的延时性。 SDK测试 启动集群上的hdfs+nginx+flume进程,通过模拟数据的发送 阅读全文
posted @ 2019-04-17 15:45 Transkai 阅读(939) 评论(0) 推荐(0) 编辑
摘要: 数据存储设计 在本次项目中设计到数据存储的有三个地方:第一个就是将原始的日志数据按天保存到hdfs文件系统中;第二个就是将etl解析后的数据保存到hbase中;第三个就是将分析结果保存到mysql数据库中。其中存储到hbase和mysql的这两个过程需要设计具体的存储结构。 HBase表结构设计 由 阅读全文
posted @ 2019-04-17 14:29 Transkai 阅读(880) 评论(0) 推荐(0) 编辑
摘要: 一、数据展示系统(bigdata_dataapi)总述 bigdata_dataapi项目的主要目标有两个:第一个就是我们需要提供一个提供json数据的Rest API;另外一个目标就是提供一个展示结果的demo页面。bigdata_dataapi使用spring+mybatis+mysql来搭建提 阅读全文
posted @ 2019-04-17 14:12 Transkai 阅读(1050) 评论(0) 推荐(0) 编辑
摘要: 项目综述 在本次课程中,项目分别分为bigdata_track,bigdata_transforer和bigdata_dataapi。本次项目主要以分析七个模块的数据,分别为用户基本信息分析、操作系统分析、地域信息分析、用户浏览深度分析、外链数据分析、订单信息分析以及事件分析。那么针对不同的分析模块 阅读全文
posted @ 2019-04-17 13:10 Transkai 阅读(2706) 评论(0) 推荐(1) 编辑
摘要: 1. hive严格模式 hive提供了一个严格模式,可以防止用户执行那些可能产生意想不到的不好的效果的查询。即某些查询在严格模式下无法执行。通过设置hive.mapred.mode的值为strict,可以禁止3中类型的查询。 (1) 查询一个分区表时如果在一个分区表执行hive,除非where语句中 阅读全文
posted @ 2019-04-13 12:26 Transkai 阅读(4060) 评论(0) 推荐(0) 编辑
摘要: 案例三: 统计共同好友 任务需求: 如下的文本, A:B,C,D,F,E,OB:A,C,E,KC:F,A,D,ID:A,E,F,LE:B,C,D,M,LF:A,B,C,D,E,O,MG:A,C,D,E,FH:A,C,D,E,OI:A,OJ:B,OK:A,C,DL:D,E,FM:E,F,GO:A,H, 阅读全文
posted @ 2019-04-12 17:14 Transkai 阅读(868) 评论(0) 推荐(0) 编辑
摘要: NameNode元数据目录分析 在第一次部署好Hadoop集群的时候,我们需要在NameNode(NN)节点上格式化磁盘: $HADOOP_HOME/bin/hdfs namenode -format 格式化完成之后,将会在$dfs.namenode.name.dir/current目录下如下的文件 阅读全文
posted @ 2019-04-12 12:07 Transkai 阅读(379) 评论(0) 推荐(0) 编辑
摘要: 有时候Hbase错误关闭,会出现以下问题,主要是Hbase关闭错误,导致zookeeper出错!!! 如图所示, 输入 zkServer.sh start 显示如下: Starting zookeeper ... STARTED 可是输入jps指令 却找不到zookeeper进程 去zkdata文件 阅读全文
posted @ 2019-04-10 21:25 Transkai 阅读(10086) 评论(0) 推荐(0) 编辑
摘要: Azkaban介绍 什么是azkaban?1、工作流的作业调度系统2、通过k、v指令写法描述工作流节点3、可以通过web界面去管理工作流 Azkaban安装部署 2.3.1 准备工作 Azkaban Web服务器 azkaban-web-server-2.5.0.tar.gz Azkaban执行服务 阅读全文
posted @ 2019-04-09 23:35 Transkai 阅读(6261) 评论(0) 推荐(0) 编辑
摘要: 在完成单点的Flume NG搭建后,下面我们搭建一个高可用的Flume NG集群,架构图如下所示: (1)节点分配 Flume的Agent和Collector分布如下表所示: 名称 Ip地址 Host 角色 Agent1 192.168.137.188 hadoop-001 WebServer Co 阅读全文
posted @ 2019-04-07 15:41 Transkai 阅读(858) 评论(0) 推荐(0) 编辑
摘要: flume 拦截器(interceptor)1、flume拦截器介绍拦截器是简单的插件式组件,设置在source和channel之间。source接收到的事件event,在写入channel之前,拦截器都可以进行转换或者删除这些事件。每个拦截器只处理同一个source接收到的事件。可以自定义拦截器。 阅读全文
posted @ 2019-04-02 20:23 Transkai 阅读(8032) 评论(0) 推荐(0) 编辑