摘要: 1、设置字段时,默认为NULL,比NOT NULL所占用空间大,所以字段设置为NOT NULL效率会高; 2、关键字要统一大小写,解析时可以复用,减少解析时间;oracle中用大写,解析SQL语句时,会把小写转化成大写; 3、WHERE子句后面的条件顺序对大数据量表的查询会产生直接的影响; 4、用w 阅读全文
posted @ 2019-03-11 18:19 超凡- 阅读(146) 评论(0) 推荐(0) 编辑
摘要: 1 def isValid(s): 2 if s and len(s) % 2 is 0: 3 a = {')': '(', ']': '[', '}': '{'} 4 l = [None] 5 for i in s: 6 if i in a and a[i] == l[-1]: 7 ... 阅读全文
posted @ 2019-02-21 17:36 超凡- 阅读(149) 评论(0) 推荐(0) 编辑
摘要: 1、 第二高的薪水 select ifnull((select distinct Salary from Employee order by Salary desc limit 1,1),null) as SecondHighestSalary; 2、第N高的薪水 select distinct S 阅读全文
posted @ 2019-02-21 14:23 超凡- 阅读(1708) 评论(0) 推荐(0) 编辑
摘要: 直接上代码: 阅读全文
posted @ 2019-02-21 13:57 超凡- 阅读(176) 评论(0) 推荐(0) 编辑
摘要: 1、hbase是依赖Hadoop运行的,因此先确保自己已搭建好Hadoop集群环境 没安装的可以参考这里:https://www.cnblogs.com/chaofan-/p/9740408.html 2、下载Hbase : 解压: 重命名: 3、配置环境变量 把hbase的路径添加到环境变量中: 阅读全文
posted @ 2018-11-08 18:57 超凡- 阅读(2998) 评论(0) 推荐(0) 编辑
摘要: 1、map task读取数据时默认调用TextInputFormat的成员RecoreReader,RecoreReader调用自己的read()方法,进行逐行读取,返回一个key、value; 2、返回的key、value交给自定义的map方法,输出的context.write(key,value 阅读全文
posted @ 2018-10-18 18:33 超凡- 阅读(273) 评论(0) 推荐(0) 编辑
摘要: Mapreduce的运算过程为两个阶段: 第一个阶段的map task相互独立,完全并行; 第二个阶段的reduce task也是相互独立,但依赖于上一阶段所有map task并发实例的输出; 这些task任务分布在多台机器运行,它的运行管理是有一个master负责,这个master由yarn负责启 阅读全文
posted @ 2018-10-11 19:10 超凡- 阅读(352) 评论(0) 推荐(0) 编辑
摘要: 1、下载Hadoop的压缩包 tar.gz https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/ 在eclipse中新建项目中,建lib文件夹,把要用的jar包拷贝进来,jar包在解压好的 hadoop-2.9.1/sha 阅读全文
posted @ 2018-10-04 17:56 超凡- 阅读(717) 评论(0) 推荐(0) 编辑
摘要: 1、查看hdfs文件目录 hadoop fs -ls / 2、上传文件 hadoop fs -put 文件路径 目标路径 在浏览器查看:namenodeIP:50070 3、下载文件 hadoop fs -get 文件路径 保存路径 4、设置副本数量 -setrep 阅读全文
posted @ 2018-10-04 17:16 超凡- 阅读(186) 评论(0) 推荐(0) 编辑
摘要: 1、环境 操作系统:ubuntu16 jdk:1.8 hadoop:2.9.1 机器:3台,master:192.168.199.88,node1:192.168.199.89,node2:192.168.199.90 2、搭建步骤 2.1 修改主机名hostname,三台机器分别执行如下命令,依次 阅读全文
posted @ 2018-10-03 18:42 超凡- 阅读(8309) 评论(0) 推荐(1) 编辑