摘要: 来源:力扣(LeetCode)链接:https://leetcode-cn.com/problems/two-sum 1.给定一个整数数组 nums 和一个目标值 target,请你在该数组中找出和为目标值的那 两个 整数,并返回他们的数组下标。你可以假设每种输入只会对应一个答案。但是,你不能重复利 阅读全文
posted @ 2019-06-12 14:19 又又IT 阅读(123) 评论(0) 推荐(0) 编辑
摘要: 1.Azkaban的安装部署 azkaban的资源下载 https://azkaban.github.io/azkaban/docs/latest/#ajax-api http://azkaban.github.io/downloads.html 1.1.配置mysql 1.1.1.修改mysql的 阅读全文
posted @ 2019-06-10 12:06 又又IT 阅读(532) 评论(0) 推荐(0) 编辑
摘要: 1.导入数据(将mysql(rdbms)的表的数据导入到hdfs) 1.1.全部导入(注意空格) 1.2.查询导入 注意:sql语句的末尾必须加上$CONDITIONS 1.3.导入指定的列 提示::columns中如果涉及到多列时,用逗号分割,分割时不要添加空格 1.4.使用sqoop关键字筛选查 阅读全文
posted @ 2019-06-06 20:25 又又IT 阅读(211) 评论(0) 推荐(0) 编辑
摘要: 条件 1.启动mysql service mysqld start 2.启动hadoop集群 start-all.sh 1.下载jar包(:http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/) 2.上传安装包sqoop-1.4.6.bin__hadoop-2 阅读全文
posted @ 2019-06-06 15:00 又又IT 阅读(353) 评论(0) 推荐(0) 编辑
摘要: 1 角色 HMaster RegionServer Region:一张table Hbase为了读写高效 有二级缓存,内存的缓存和磁盘的缓存 HLog:既有存储的业务数据,又有对业务数据的操作2 HBase的特性 列式存储: 稀疏 无模式 数据多版本 3 Hbase安装部署问题 时间同步 配置文件 阅读全文
posted @ 2019-06-05 19:54 又又IT 阅读(278) 评论(0) 推荐(0) 编辑
摘要: 1.上传 hbase-1.3.2-bin.tar.gz 2.解压 tar hbase-1.3.2-bin.tar.gz -C /usr/local/ 3.修改配置文件 修改hbase-env,sh (在/usr/local/hbase../conf/) 修改为一下内容 修改hbase-site.xm 阅读全文
posted @ 2019-06-05 19:52 又又IT 阅读(171) 评论(0) 推荐(0) 编辑
摘要: import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.client.*; import org.apache.hadoop.hbase.util.Bytes; import java.io.IOException; import j... 阅读全文
posted @ 2019-06-05 17:46 又又IT 阅读(203) 评论(0) 推荐(0) 编辑
摘要: hadoop dfsadmin -safemode leave hadoop退出安全模式让提示符显示当前库: set hive.cli.print.current.db=true;显示查询结果时显示字段名称:set hive.cli.print.header=true; set hive.resul 阅读全文
posted @ 2019-06-03 08:38 又又IT 阅读(422) 评论(0) 推荐(0) 编辑
摘要: 1.创建数据库create database db_cart;2.使用数据库use db_cart;3.创建表create table t_cart(province STRING,month INT,city STRING,county STRING,year INT,cartype STRING 阅读全文
posted @ 2019-05-31 09:45 又又IT 阅读(752) 评论(0) 推荐(0) 编辑
摘要: 1.1.hive的基本思想 HIve是基于Hadoop的一个数据仓库的工具(离线,分析数据),可以将结构化的数据文件映射为一张数据库表,并提供类sql查询功能。 1.2.为什么使用Hive 直接使用hadoop所面临的问题:1.人员学习成本高 2.项目周期要求太短 3.MapReduce复杂查询开发 阅读全文
posted @ 2019-05-28 20:08 又又IT 阅读(141) 评论(0) 推荐(0) 编辑