03 2021 档案
摘要：案例： Select tmp.username,date,sum(tmp.su) over(partition by tmp.username order by tmp.date ) totle From ( Select username,sum(cost_money) su,date From
阅读全文
摘要：题目1： 有如下数据： A,2015-01,5 A,2015-01,15 B,2015-01,5 A,2015-01,8 B,2015-01,25 A,2015-01,5 C,2015-03,20 字段说明： username： 姓名 date ： 日期 cost_money ： 消费金额 需求：
阅读全文
摘要：hive > set hive.exec.dynamic.partition.mode=nonstrict;--设置hive执行器的动态分区（dynamic partition）模式为非严格模式（nonstrict） set hive.input.format=org.apache.hadoop.h
阅读全文
摘要：目标： 首先分发hive文件到各个节点： scp -r apache-hive/ root@node7-2:`pwd` l 服务器端:conf/hive-site.xml: 1 <?xml version="1.0"?> 2 <?xml-stylesheet type="text/xsl" href
阅读全文
摘要：[root@node7-3 sqoop1]# bin/sqoop list-databases --connect 'jdbc:mysql://192.168.56.1:3306/ ?useSSL=false&serverTimezone=GMT%2B8&allowMultiQueries=true
阅读全文
摘要：1 <properties> 2 <project.build.sourceEncoding>UTF8</project.build.sourceEncoding> 3 <hive.version>3.1.2</hive.version> 4 </properties> 5 <repositorie
阅读全文
摘要：这里使用的的mysql版本是5.7.30，本身没有my.cnf文件！！！！！ 一、安装前的检查 1.1 检查 linux 系统版本 [root@localhost ~]# cat /etc/system-release 说明：小生的版本为 linux 64位：CentOS Linux release
阅读全文
摘要：Mysql的四种引擎介绍 （1）：MyISAM存储引擎不支持事务、也不支持外键，优势是访问速度快，对事务完整性没有 要求或者以select，insert为主的应用基本上可以用这个引擎来创建表 支持3种不同的存储格式，分别是：静态表；动态表；压缩表 静态表：表中的字段都是非变长字段，这样每个记录都是固
阅读全文
摘要：一：插入缓冲 二：二次写 三：自适应哈希 四：预读 1.插入缓冲（insert buffer)插入缓冲（Insert Buffer/Change Buffer）：提升插入性能，change buffering是insert buffer的加强，insert buffer只针对insert有效，cha
阅读全文
摘要：排序对于数学运算来说，加减乘除是基本的运算符。而对于计算机计算处理数据来说，排序、查找等就是它的基本运算符。 列一些排序的应用： 查找某个元素在数组中的位置。可以将数组排序，之后二分查找找出两个数组都包含的元素。可以将两个数组排序，然后循环对比……在数据处理时，基于有序数据的处理会比无序数据快很多。
阅读全文
摘要：Hadoop的三种调度器 （1）FIFO Scheduler 将所有的Applications放到队列中，先按照作业的优先级高低、再按照到达时间的先后，为每个app分配资源。如果第一个app需要的资源被满足了，如果还剩下了资源并且满足第二个app需要的资源，那么就为第二个app分配资源，and so
阅读全文
摘要：引自：https://www.cnblogs.com/cherish010/p/9764810.html 鉴于producer的数据丢失和数据乱序两个问题，我们应该如何规避呢？对于消息丢失的问题，很容易想到的一个方法就是:既然异步发送有可能丢失数据，我改成同步发送总可以吧？比如这样：producer
阅读全文