05 2019 档案
摘要：一、函数入门 1、定义函数 在Scala中定义函数时，需要定义函数的函数名、参数、函数体。 我们的第一个函数如下所示： def sayHello（name:String，age:Int）= { if（age>18）{printf（"hi %s，you are a big boy\n"，name）;
阅读全文
摘要：一、Hbase集成hivehttps://cwiki.apache.org/confluence/display/Hive/HBaseIntegration1、说明Hive与HBase整合在一起，使Hive可以读取HBase中的数据，让Hadoop生态系统中最为常用的两大框架互相结合，使用Hive读取Hbase中的数据。我们可以使用HQL语句在HBase表上进行查询、插入操作；甚至是进行Join和...
阅读全文
摘要：一、importtsv把hdfs中数据抽取到HBase表中；1、准备数据##student.tsv[root@hadoop-senior datas]# cat student.tsv 10001 zhangsan 35 male beijing 010987654310002 lisi 32 male shanghia 01098765...
阅读全文
摘要：一、 1、client 整个HBase集群的访问入口； 使用HBase RPC机制与HMaster和HRegionServer进行通信； 与HMaster进行通信进行管理类操作； 与HRegionServer进行数据读写类操作； 包含访问HBase的接口，并维护cache来加快对HBase的访问 2
阅读全文
摘要：一、overflow1、属性介绍说明:这个属性定义溢出元素内容区的内容会如何处理。如果值为 scroll，不论是否需要，用户代理都会提供一种滚动机制。因此，有可能即使元素框中可以放下所有内容也会出现滚动条。##visible 默认值。内容不会被修剪，会呈现在元素框之外。hidden 内容会被修剪，并且其余内容是不可见的。scroll 内容会被修剪，但是浏览器会显示滚动条以便查看其...
阅读全文
摘要：一、positionposition属性：指定一个元素（静态的，相对的，绝对或固定）的定位方法的类型。1、fixed值fixed值：生成固定定位的元素，相对于浏览器窗口进行定位。元素的位置通过 "left", "top", "right" 以及 "bottom" 属性进行规定。############################ Title 返回顶部 ####...
阅读全文
摘要：一、Hue安装可以编译安装，我这里有已经编译好的，直接解压使用；hue默认端口：8888http://gethue.com/https://github.com/cloudera/huehttp://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/manual.html#_install_hue1、先停止oozie 、hdfs服务##oozie...
阅读全文
摘要：一、Coordinator数据集二、oozie bundle
阅读全文
摘要：一、将hive的表数据用sqoop抽取到mysql1、编写oozie workflow和Coordinator##[root@hadoop-senior oozie-apps]# pwd/opt/cdh-5.3.6/oozie-4.0.0-cdh5.3.6/oozie-apps[root@hadoop-senior oozie-apps]# ls wf-user-select/coordinato...
阅读全文
摘要：一、时区问题1、修改系统时区##[root@hadoop-senior hadoop-2.5.0-cdh5.3.6]# rm -rf /etc/localtime [root@hadoop-senior hadoop-2.5.0-cdh5.3.6]# ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime##修改系统时间2、oozie时区oo...
阅读全文
摘要：一、shell action1、##job.propertiesnameNode=hdfs://hadoop-senior.ibeifeng.com:8020jobTracker=hadoop-senior.ibeifeng.com:8032queueName=defaultoozieAppsRoot=user/root/oozie-appsoozieDataRoot=user/root/oozi...
阅读全文
摘要：一、sqoop action1http://oozie.apache.org/docs/4.0.0/DG_SqoopActionExtension.html1、准备文件##[root@hadoop-senior oozie-apps]# mkdir sqoop-import-user##job.propertiesnameNode=hdfs://hadoop-senior.ibeifeng.com...
阅读全文
摘要：一、Hive Action1、创建文件[root@hadoop-senior oozie-apps]# pwd/opt/cdh-5.3.6/oozie-4.0.0-cdh5.3.6/oozie-apps[root@hadoop-senior oozie-apps]# mkdir hive-select##job.propertiesnameNode=hdfs://hadoop-senior.ibe...
阅读全文
摘要：一、案例运行MapReduce Workflow 1、准备examples [root@hadoop-senior oozie-4.0.0-cdh5.3.6]# pwd /opt/cdh-5.3.6/oozie-4.0.0-cdh5.3.6 [root@hadoop-senior oozie-4.0
阅读全文
摘要：一、部署可参考文档：http://archive.cloudera.com/cdh5/cdh/5/oozie-4.0.0-cdh5.3.6/DG_QuickStart.html1、解压oozie安装包：oozie-4.0.0-cdh5.3.6-src.tar.gzext-2.2.zip##解压[root@hadoop-senior oozie]# tar zxf oozie-4.0.0-cdh5....
阅读全文
摘要：一、hadoop调度框架Linux Crontab Azkaban https://azkaban.github.io/Oozie http://oozie.apache.org/Zeus(阿里的) https://github.com/michael8335/zeus2二、oozie架构1、oozie一个基于工作流引擎的开源框架，是...
阅读全文
摘要：一、数据仓库架构二、flume收集数据存储到hdfs文档：http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#hdfs-sink三、监控日志目录日志数据，实时抽取之hdfs系统上-实验1、Source：Spooling Directory 在使用exec来监听数据源虽然实时性较高，但是可靠性较差，当source程序运...
阅读全文
摘要：一、定义agent，并运行1、配置文件#计划##收集hive的日志，存到hdfs/opt/cdh-5.3.6/hive-0.13.1-cdh5.3.6/logs/hive.log命令：tail -f source：Exec source 在启动时运行一个给定的Unix命令，并期望该进程在标准输出上不断地生成数据channel：memorysink：hdfs #/user/root/fl...
阅读全文
摘要：1、交换机启动SNMP Agent服务 2、准备交换机监控模板 2、添加主机
阅读全文
摘要：一、flume架构概述1、flume简介Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于流数据流的简单灵活的架构。它具有可靠的可靠性机制和许多故障转移和恢复机制，具有强大的容错性。它使用简单的可扩展数据模型，允许在线分析应用程序。flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume参考资料： 官方网站：...
阅读全文
摘要：sqoop的options-file参数可以像hive的-f 参数那样，执行一个脚本文件，而不是直接在命令行执行；其中，此脚本文件要遵循一定的格式；参考链接：http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html1、options-file参数使用##准备一个脚本文件，可以是txt、sql结尾文件##vim /opt/datas/sqoop-i...
阅读全文
摘要：一、export1、export概述export工具将一组文件从HDFS导入到RDBMS。目标表必须已经存在于数据库中。根据用户指定的分隔符读取输入文件并将其解析为一组记录， 只有map； [root@hadoop-senior sqoop-1.4.5-cdh5.3.6]# bin/sqoop he
阅读全文
摘要：一、增量数据的导入1、两种方式## query有一个唯一标识符，通常这个表都有一个字段，类似于插入时间createtime where createtime => 20150924000000000 and createtime Source column to check for incremental change --incremental ...
阅读全文
摘要：一、导数据1、import和exportSqoop可以在HDFS/Hive和关系型数据库之间进行数据的导入导出，其中主要使用了import和export这两个工具。这两个工具非常强大，提供了很多选项帮助我们完成数据的迁移和同步。比如，下面两个潜在的需求：1、业务数据存放在关系数据库中，如果数据量达到一定规模后需要对其进行分析或同统计，单纯使用关系数据库可能会成为瓶颈，这时可以将数据从业务数据库数据...
阅读全文
摘要：一、安装sqoop1、解压##解压[root@hadoop-senior cdh]# tar zxf sqoop-1.4.5-cdh5.3.6.tar.gz -C /opt/cdh-5.3.6/2、/opt/cdh-5.3.6/sqoop-1.4.5-cdh5.3.6/conf/sqoop-env.sh //先重命名#Set path to where bin/hadoop is...
阅读全文
摘要：一、概述Sqoop是一个在结构化数据和Hadoop之间进行批量数据迁移的工具，结构化数据可以是Mysql、Oracle等RDBMS。Sqoop底层用MapReduce程序实现抽取、转换、加载，MapReduce天生的特性保证了并行化和高容错率，而且相比Kettle等传统ETL工具，任务跑在Hadoop集群上，减少了ETL服务器资源的使用情况。在特定场景下，抽取过程会有很大的性能提升。 如果要...
阅读全文
摘要：一、边框 Title abc abc#style="border: 1px //边框1像素#solid //实线； dotted //虚线；还可以设置左、右；#颜色二、其他样式 Title abc abcheight //高度,百分比width //宽度像素，百分比text-alig...
阅读全文
摘要：一、创建表并导入日志数据，引出问题##建表hive (default)> create table IF NOT EXISTS default.bf_log_src( > remote_addr string, > remote_user string, > time_local string, ...
阅读全文
摘要：一、优先级简单可以理解为就近原则； Title abc二、存在形式css样式可以存在于一个文件中；在HTML中引入即可；##HTML文件 Title #引入 abc#css文件.c1{ background-color: red; color: white; }.c2{ font-size: 26px; c...
阅读全文
摘要：一、CSSrgb颜色对照表：https://www.114la.com/other/rgb.htm1、在标签上设置style属性 Title ff 2 32、编写css样式标签的style属性；写在head里面，style标签中写样式； id选择器 class选择器 标签选择器 层级选择器 组合选择器 ...
阅读全文
