摘要:
来源:力扣(LeetCode)链接:https://leetcode-cn.com/problems/two-sum 1.给定一个整数数组 nums 和一个目标值 target,请你在该数组中找出和为目标值的那 两个 整数,并返回他们的数组下标。你可以假设每种输入只会对应一个答案。但是,你不能重复利 阅读全文
摘要:
1.Azkaban的安装部署 azkaban的资源下载 https://azkaban.github.io/azkaban/docs/latest/#ajax-api http://azkaban.github.io/downloads.html 1.1.配置mysql 1.1.1.修改mysql的 阅读全文
摘要:
1.导入数据(将mysql(rdbms)的表的数据导入到hdfs) 1.1.全部导入(注意空格) 1.2.查询导入 注意:sql语句的末尾必须加上$CONDITIONS 1.3.导入指定的列 提示::columns中如果涉及到多列时,用逗号分割,分割时不要添加空格 1.4.使用sqoop关键字筛选查 阅读全文
摘要:
条件 1.启动mysql service mysqld start 2.启动hadoop集群 start-all.sh 1.下载jar包(:http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/) 2.上传安装包sqoop-1.4.6.bin__hadoop-2 阅读全文
摘要:
1 角色 HMaster RegionServer Region:一张table Hbase为了读写高效 有二级缓存,内存的缓存和磁盘的缓存 HLog:既有存储的业务数据,又有对业务数据的操作2 HBase的特性 列式存储: 稀疏 无模式 数据多版本 3 Hbase安装部署问题 时间同步 配置文件 阅读全文
摘要:
1.上传 hbase-1.3.2-bin.tar.gz 2.解压 tar hbase-1.3.2-bin.tar.gz -C /usr/local/ 3.修改配置文件 修改hbase-env,sh (在/usr/local/hbase../conf/) 修改为一下内容 修改hbase-site.xm 阅读全文
摘要:
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.client.*; import org.apache.hadoop.hbase.util.Bytes; import java.io.IOException; import j... 阅读全文
摘要:
hadoop dfsadmin -safemode leave hadoop退出安全模式让提示符显示当前库: set hive.cli.print.current.db=true;显示查询结果时显示字段名称:set hive.cli.print.header=true; set hive.resul 阅读全文
摘要:
1.创建数据库create database db_cart;2.使用数据库use db_cart;3.创建表create table t_cart(province STRING,month INT,city STRING,county STRING,year INT,cartype STRING 阅读全文
摘要:
1.1.hive的基本思想 HIve是基于Hadoop的一个数据仓库的工具(离线,分析数据),可以将结构化的数据文件映射为一张数据库表,并提供类sql查询功能。 1.2.为什么使用Hive 直接使用hadoop所面临的问题:1.人员学习成本高 2.项目周期要求太短 3.MapReduce复杂查询开发 阅读全文