摘要：
1.hadoop是什么？ Hadoop 是Apache基金会下一个开源的大数据分布式计算平台，它以分布式文件系统HDFS和MapReduce算法为核心，为用户提供了系统底层细节透明的分布式基础架构。 2.hadoop主要组成部分 1）hdfs分布式存储文件系统 海量数据存储，大文件被分成默认64M一 阅读全文
摘要：
Hue是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来 阅读全文
摘要：
1.hive执行引擎 Hive默认使用MapReduce作为执行引擎，即Hive on mr。实际上，Hive还可以使用Tez和Spark作为其执行引擎，分别为Hive on Tez和Hive on Spark。由于MapReduce中间计算均需要写入磁盘，而Spark是放在内存中，所以总体来讲Sp 阅读全文
摘要：
1.配置tnsnames.ora/listener.ora 2.启动监听 3.启动与停止 #sqlplus / as sysdba SQL>startup SQL>exit startup a.启动实例：包括读取参数文件、分配SGA、启动后台进程 b.装载数据库：将数据库与已启动的实例相联系，装载后 阅读全文
摘要：
1.配置 hive1.2.0（前提要配置hadoop2.7.2，前面文档有介绍） 2.配置Mysql 3.mysql 新建 hive 数据库 4.编译hive war(web接口)#下载hive src源码解压切换到 hive/hwi/web 执行 jar cvf hive-hwi-1.2.0.wa 阅读全文
摘要：
select *from (SELECTt.s#,---学号 t.c#,---课程号 T.SCCORE, ---成绩 RANK() OVER(PARTITION BY t.c# ORDER BY t.sccore DESC ) AS rk,FROM scc t) mmwhere rk<=1 阅读全文
摘要：
package com.net.xinfang.reflect;import java.util.ArrayList;import java.util.HashMap;import java.util.Hashtable;import java.util.Iterator;import java.u... 阅读全文
摘要：
package com.net.xinfang.reflect;import java.io.IOException;import java.util.Scanner;/*** * 运行try块有异常抛出转到catch块，执行完catch后再执行finally块 * 运行try块没有异常抛出，也要... 阅读全文
摘要：
$1 环境介绍$1.1 Eclipse Java EE IDE for Web Developers：Neon.2 Release (4.6.2)$1.2 Maven：3.3.9$1.3 Spring：4.0.2$1.4 Mybatis：3.2.6$1.5 MySQL：5.5$1.6 Axis2：1... 阅读全文
摘要：
1.安装操作系统，保证联网环境，本文以CentOS 6.8为操作系统（略）2.wget下载安装包(以5.3.3为例)#mkdir /usr/cdh ---新建cm安装目录#cd /usr/cdh ---切换目录#wget 获取下载链接文件到本地服务器#wget http://arch... 阅读全文
摘要：
package com.net.xinfang.reflect;import java.util.ArrayList;import java.util.Arrays;import java.util.HashSet;import java.util.List;import java.util.Sca... 阅读全文
摘要：
package com.net.xinfang.reflect;import java.util.ArrayList;import java.util.Arrays;import java.util.Collections;import java.util.List;import java.util... 阅读全文
摘要：
1.登录（浏览器输入ip地址：7180，登录用户名和登录密码即可）2.CM主界面（各个组件，监控图表，绿色代表运行正常、黄色代表运行不良，需要关注根据实际情况调整，红色代表故障，需要排查问题）3.点击左边的HDFS进入HDFS管理主页4.查看HDFS运行实例5.查看配置-服务范围-高级（根据实际情况... 阅读全文
摘要：
package com.net.xinfang.reflect;/*** * 8种基本类型（byte，int,short,long,float,double,char，boolean） * 布尔型只允许取true/false * 内置数据类型/引用数据类型---包装类 * @author xinfa... 阅读全文
摘要：
package com.net.xinfang.reflect;import java.io.UnsupportedEncodingException;/** * String不属于8种基本数据类型，String是一个对象。 因为对象的默认值是null，所以String的默认值也是null； * 但... 阅读全文
摘要：
package com.net.xinfang.reflect;import java.util.Comparator;import java.util.HashSet;import java.util.Iterator;import java.util.Set;import java.util.T... 阅读全文
摘要：
阅读全文
摘要：
1.修改配置hive-site.xml hadoop core-site.xml限制---参考Hive记录-部署Hive环境2.启动hadoop #sh /usr/app/hadoop/sbin/start-all.sh3.jps查看五大进程是否齐全：NameNode DataNode N... 阅读全文
摘要：
1.安装插件安装jdk/ant/libtool/protobuf/maven/zlib-devel/openssl-devel/ncurses-devel、gcc、snappy、bzip#set javaexport JAVA_HOME=/usr/app/jdk1.8.0export JRE_HOM... 阅读全文
摘要：
package com.net.xinfang.reflect;import java.util.ArrayList;import java.util.Arrays;import java.util.HashMap;import java.util.HashSet;import java.util.... 阅读全文