06 2019 档案

SQL的各种连接--自联结,内连接,外连接,交叉连接
摘要:1、准备两个表:Student,Course,其中student.C_S_Id=Course.C_Id(即Student 表中的 C_S_Id 字段为外键列,关联的是 Course 表的 C_Id 主键列) 2、内连接(table1 inner join table2 on 条件表达式):满足on条 阅读全文

posted @ 2019-06-28 11:44 hdc520 阅读(728) 评论(0) 推荐(0) 编辑

hive的数据定义之创建数据库和表
摘要:1、对数据库的操作 create database hive_db //创建数据库hive_db create table hive_db.test(字段内容及其格式省略) //在数据库hive_db中创建test表 create database student_db location '/use 阅读全文

posted @ 2019-06-26 22:08 hdc520 阅读(12946) 评论(0) 推荐(0) 编辑

hive基础知识or基本操作命令
摘要:MySQL的密码是:123456 1、hive创建标准表(以后均可以按照这样创建): create [external] table [if not exists] records (year STRING [comment "year备注消息"], temperature INT [comment 阅读全文

posted @ 2019-06-24 16:11 hdc520 阅读(2378) 评论(0) 推荐(0) 编辑

SQL执行顺序和coalesce以及case when的用法
摘要:1、mysql的执行顺序 from -> on -> join -> where -> group by -> 聚集函数 -> having -> select ->distinct -> union -> order by -> limit 注意:select distinct name from 阅读全文

posted @ 2019-06-20 11:50 hdc520 阅读(2836) 评论(0) 推荐(0) 编辑

Hadoop的配置文件
摘要:hadoop-env.sh:脚本中所用到的环境变量,以运行Hadoop mapred-env.sh:脚本中所用到的环境变量,以运行mapreduce yarn-env.sh:脚本中所用到的环境变量,以运行YARN core-site.xml:hadoop core 的配置选项,如HDFS,MapRe 阅读全文

posted @ 2019-06-17 10:08 hdc520 阅读(341) 评论(0) 推荐(0) 编辑

Hadoop中的全排序和二次排序
摘要:1、MapReduce的全排序 (1)使用一个reduce进行排序。 MapReduce默认保证同一个分区内的Key是有序的,但是不保证全局有序。如果我们将所有的数据全部发送到一个Reduce,就可以实现结果全局有序。所有的数据都发送到一个Reduce进行排序,这样不能充分利用集群的计算资源,而且在 阅读全文

posted @ 2019-06-15 11:51 hdc520 阅读(459) 评论(0) 推荐(0) 编辑

SQL基础语句
摘要:判断字段长度函数length SELECT name,capitalFROM worldWHERE LENGTH(name)=LENGTH(capital) 求字串,注意分左字串和右字串 LEFT(ARG,LENGTH)、RIGHT(ARG,LENGTH) LEFT、RIGHT函数返回ARG最左边、 阅读全文

posted @ 2019-06-14 22:22 hdc520 阅读(462) 评论(0) 推荐(0) 编辑

leetcode之删除数组中的重复值(26题)
摘要:给定一个排序数组,你需要在原地删除重复出现的元素,使得每个元素只出现一次,返回移除后数组的新长度。 不要使用额外的数组空间,你必须在原地修改输入数组并在使用 O(1) 额外空间的条件下完成。 示例 1: 给定数组 nums = [1,1,2], 函数应该返回新的长度 2, 并且原数组 nums 的前 阅读全文

posted @ 2019-06-13 17:11 hdc520 阅读(168) 评论(0) 推荐(0) 编辑

刷题or源码链接
摘要:Hadoop权威指南的Github https://github.com/tomwhite/hadoop-book hadoopAPI http://hadoop.apache.org/docs/current/api/ TopN之mapreduce http://www.mamicode.com/ 阅读全文

posted @ 2019-06-12 21:29 hdc520 阅读(434) 评论(0) 推荐(0) 编辑

Hadoop的基础命令
摘要:首次使用Hadoop时,格式化文件系统命令:hdfs namenode -format 启动HDFS:start-dfs.sh 启动YARN:start-all.sh start-all.sh等价于start-dfs.sh + start-yarn.sh Hadoop 删除文件夹和文件的命令: 删除 阅读全文

posted @ 2019-06-07 17:41 hdc520 阅读(2268) 评论(0) 推荐(0) 编辑

导航