bug_x - 博客园

linux 命令输出作为另一个命令输入 cd

摘要： 1、ls |tail >out1.txt eg: ps -ef | grep redis-server | grep -v grep | awk '{print $2}' 2、子shell法 output=$( ls |cat -n ) 3、反引用： output1=`ls|cat -n` echo 阅读全文

posted @ 2021-11-03 16:54 bug_x 阅读(925) 评论(0) 推荐(0) 编辑

数据分析常用sql

摘要： 1、Mysql 在sql 语句中的执行顺序是 from 、where 、order by、select coalesce(), with rollup select coalesce(t.name,'总'),sum(t.v) from (select '小丽' as name,1 as v UNIO 阅读全文

posted @ 2021-10-27 17:14 bug_x 阅读(222) 评论(0) 推荐(0) 编辑

hbase 与hadoop 版本对应关系

摘要： https://hbase.apache.org/book.html#hadoop 阅读全文

posted @ 2021-10-19 14:47 bug_x 阅读(831) 评论(0) 推荐(0) 编辑

将Linux命令的结果作为下一个命令的参数

摘要：查询所有的pid并杀死。 jps -l | grep bdcsc2-native-demo | awk '{print $1}' | xargs kill -9 KISS:keep it short and simple! 1. 符号：` `名称：反引号，上分隔符位置：反引号（`）这个字符一般在键盘阅读全文

posted @ 2021-10-19 14:29 bug_x 阅读(945) 评论(0) 推荐(0) 编辑

IDEA　java.lang.ClassNotFoundException

摘要：导致这种错误的原因由很多：我这次是Mark as Source Root. 解决办法: 阅读全文

posted @ 2021-10-18 14:10 bug_x 阅读(73) 评论(0) 推荐(0) 编辑

idea 无法创建Scala class 选项解决办法汇总（IDEA 编写SCALA 一）

摘要：原因一：没有添加scala sdk 解决：file=>project structure =>Global Libraries,添加scala-sdk: 没有scala sdk的可以去网上下载。再检查一下.iml文件是否添加了scala sdk，没有的话加上： <orderEntry type=" 阅读全文

posted @ 2021-10-15 17:32 bug_x 阅读(596) 评论(0) 推荐(0) 编辑

Spark数据倾斜解决方案

摘要： 1、原理以及现象分析1.1、数据倾斜怎么出现的在执行shuffle操作的时候，是按照key，来进行values的数据的输出、拉取和聚合的。同一个key的values，一定是分配到一个reduce task进行处理的。多个key对应的values，比如一共是90万。可能某个key对应了88万数据，被阅读全文

posted @ 2021-10-15 16:44 bug_x 阅读(226) 评论(0) 推荐(0) 编辑

Flume 问题 org.apache.flume.ChannelFullException: Space for commit to queue couldn't be acquired. Unable to deliver event. Exception follows

摘要：参考链接：https://chengyanan.blog.csdn.net/article/details/108510878?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-3.no_ 阅读全文

posted @ 2021-10-14 15:18 bug_x 阅读(1307) 评论(0) 推荐(0) 编辑

flume HA实现

摘要： FailOver 一、Flume简单介绍Flume提供一个分布式的，可靠的，对大数据量的日志进行高效收集、聚集、移动的服务 1.1 FLume的基本组成Flume的组件主要包括三个:Source、Channel、Sink,其前后关系如图1所示。图11.2 SourceSource用来从数据源接收数据阅读全文

posted @ 2021-10-14 13:40 bug_x 阅读(170) 评论(0) 推荐(0) 编辑

js 原生模拟 jQuery trigger函数

摘要： <html> <script src="http://libs.baidu.com/jquery/2.0.0/jquery.min.js"></script> <script> //setTimeout("alert('对不起, 要你久候')", 3000 ) function trigger(el 阅读全文

posted @ 2021-10-12 10:02 bug_x 阅读(100) 评论(0) 推荐(0) 编辑

导航

2021年11月3日

2021年10月27日

2021年10月19日

2021年10月18日

2021年10月15日

2021年10月14日

2021年10月12日