数据分析常用sql
摘要:1、Mysql 在sql 语句中的执行顺序是 from 、where 、order by、select coalesce(), with rollup select coalesce(t.name,'总'),sum(t.v) from (select '小丽' as name,1 as v UNIO
阅读全文
hbase 与hadoop 版本对应关系
摘要:https://hbase.apache.org/book.html#hadoop
阅读全文
将Linux命令的结果作为下一个命令的参数
摘要:查询所有的pid并杀死。 jps -l | grep bdcsc2-native-demo | awk '{print $1}' | xargs kill -9 KISS:keep it short and simple! 1. 符号:` `名称:反引号,上分隔符位置:反引号(`)这个字符一般在键盘
阅读全文
IDEA java.lang.ClassNotFoundException
摘要:导致这种错误的原因由很多:我这次是Mark as Source Root. 解决办法:
阅读全文
idea 无法创建Scala class 选项解决办法汇总 (IDEA 编写SCALA 一)
摘要:原因一:没有添加scala sdk 解决:file=>project structure =>Global Libraries,添加scala-sdk: 没有scala sdk的可以去网上下载。 再检查一下.iml文件是否添加了scala sdk,没有的话加上: <orderEntry type="
阅读全文
Spark数据倾斜解决方案
摘要:1、原理以及现象分析1.1、数据倾斜怎么出现的 在执行shuffle操作的时候,是按照key,来进行values的数据的输出、拉取和聚合的。同一个key的values,一定是分配到一个reduce task进行处理的。多个key对应的values,比如一共是90万。可能某个key对应了88万数据,被
阅读全文
Flume 问题 org.apache.flume.ChannelFullException: Space for commit to queue couldn't be acquired. Unable to deliver event. Exception follows
摘要:参考链接:https://chengyanan.blog.csdn.net/article/details/108510878?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-3.no_
阅读全文
flume HA实现
摘要:FailOver 一、Flume简单介绍Flume提供一个分布式的,可靠的,对大数据量的日志进行高效收集、聚集、移动的服务 1.1 FLume的基本组成Flume的组件主要包括三个:Source、Channel、Sink,其前后关系如图1所示。图11.2 SourceSource用来从数据源接收数据
阅读全文
js 原生模拟 jQuery trigger函数
摘要:<html> <script src="http://libs.baidu.com/jquery/2.0.0/jquery.min.js"></script> <script> //setTimeout("alert('对不起, 要你久候')", 3000 ) function trigger(el
阅读全文
flume采集数据到hdfs上产生的问题及其优化方法
摘要:flume指定HDFS类型的Sink时,采集数据至HDFS指定目录,会产生大量小文件。解决方案:去掉round时间系列参数,并将rollSize和rollCount置0,表示不根据临时文件大小和event数量来滚动文件(滚动文件即指将HDFS上生成的以.tmp结尾的临时文件转换为实际存储文件)。当然
阅读全文
sql server查询中出现 将字符串转换为 uniqueidentifier 时失败异常
摘要:sql server查询中出现 将字符串转换为 uniqueidentifier 时失败异常 原因为id设置为uniqueidentifier 字段,在where查询时需要做转换 cast(id as varchar(36)),例如 select * from test where cast(id
阅读全文
SQLserver存储过程中in添加条件变量@A问题 动态变量
摘要:可以把@AAA存到一个表变量里 参考示例: 本示例添加了2个 动态变量 DECLARE @DATE DATE; SET @DATE = GETDATE( ); DECLARE @TA TABLE(col nvarchar(4000)); DECLARE @TA2 TABLE(col nvarchar
阅读全文
vscode 列编辑
摘要:光标移动到第一行行首,按住ALT+SHIFT 如下图: 参考链接:https://blog.csdn.net/sgdd123/article/details/80701262?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7
阅读全文
sqlserver 保留2位小数的写法
摘要:SELECT CAST ( TotalTargetCost AS NUMERIC ( 18, 2 ) ) aa, FROM dwca WITH ( NOLOCK ) WHERE id = 'CD41D15F-7781-41D2-32AC-08D84A19C12D'
阅读全文