会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
pengh
博客园
首页
新随笔
联系
订阅
管理
随笔 - 126 文章 - 0 评论 - 5 阅读 -
94759
2025年2月10日
FLINK资源说明
摘要: 转载:https://wuchong.me/blog/2016/05/09/flink-internals-understanding-execution-resources/ 消费延迟,有反压解决办法? 1、增加下游算子并行度。
阅读全文
posted @ 2025-02-10 11:33 大鹏的鸿鹄之志
阅读(2)
评论(0)
推荐(0)
编辑
2024年10月12日
hive生成连续的时间和连续的数
摘要: select *, DATE_ADD(t_start, n) AS pt from ( SELECT 22 as uid ,'2024-10-01'as t_start ,'2024-10-05'as t_end ,11 as hh )t LATERAL VIEW posexplode(split(
阅读全文
posted @ 2024-10-12 21:59 大鹏的鸿鹄之志
阅读(67)
评论(0)
推荐(0)
编辑
2024年10月1日
学习笔记
摘要: 视频链接:https://www.bilibili.com/video/BV1K44y1g7wA/?p=5&spm_id_from=pageDriver&vd_source=04e04ff8e50997d464b0f568dc61c357 查看函数传递参数快捷键: control + p
阅读全文
posted @ 2024-10-01 15:20 大鹏的鸿鹄之志
阅读(5)
评论(0)
推荐(0)
编辑
2024年9月29日
git 生成ssh key
摘要: 文件目录下 1、ssh-keygen -t rsa -b 4096 -C "自己的邮箱地址" 2、ls -la 查看所有文件 3、cat ~/.ssh/id_rsa.pub // 文件里面的全部复制 4、在GitHub账户的Settings中添加SSH key: 登录GitHub。 点击右上角的头像
阅读全文
posted @ 2024-09-29 23:14 大鹏的鸿鹄之志
阅读(1468)
评论(0)
推荐(0)
编辑
2023年9月13日
HIVE ASCII码
摘要: hive中的分割符使用八进制的ASCII码表示 1 八进制 十六进制 十进制 字符 使用方法 2 00 00 0 nul 3 01 01 1 soh 4 02 02 2 stx 5 03 03 3 etx 6 04 04 4 eot 7 05 05 5 enq 8 06 06 6 ack 9 07
阅读全文
posted @ 2023-09-13 11:58 大鹏的鸿鹄之志
阅读(180)
评论(0)
推荐(0)
编辑
2023年3月21日
SQL实现好友关系
摘要: 转载:https://blog.csdn.net/liangmengbk/article/details/124243161 https://blog.csdn.net/liangmengbk/article/details/124232516
阅读全文
posted @ 2023-03-21 17:36 大鹏的鸿鹄之志
阅读(31)
评论(0)
推荐(0)
编辑
2022年12月5日
找到连续的数子
摘要: table1 中 找出连续出现三次的数 id num 1 1 2 1 3 1 4 2 5 1 6 1 7 2 select distinct num from( select num, lag(num,1,null) over (order by id asc) as num1, lag(num,2
阅读全文
posted @ 2022-12-05 20:39 大鹏的鸿鹄之志
阅读(18)
评论(0)
推荐(0)
编辑
2022年11月30日
IDEA打开java项目后不能运行
摘要: 这篇文章主要介绍了记一次用IDEA打开java项目后不能运行的解决方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧 有时候想运行别人的项目,但是别人的项目并非IDEA项目(甚至只有源码),当我们打开项目时候,并不能运行,我们却
阅读全文
posted @ 2022-11-30 23:32 大鹏的鸿鹄之志
阅读(3870)
评论(0)
推荐(0)
编辑
2022年11月29日
gradle 安装
摘要: 转载:https://www.lmlphp.com/user/57799/article/item/2632862/
阅读全文
posted @ 2022-11-29 01:17 大鹏的鸿鹄之志
阅读(3)
评论(0)
推荐(0)
编辑
2022年11月28日
实验置信区间
摘要: 转载:https://www.4vv4.com/article/197.html 如何计算置信区间? 要计算置信区间,请先计算样本的均值和标准误。 请记住,您必须使用z得分针对所选的置信度水平来计算置信区间的高低分数(请参见下表)。 置信度Z分数 0.90 1.645 0.95 1.96 0.99
阅读全文
posted @ 2022-11-28 23:00 大鹏的鸿鹄之志
阅读(833)
评论(0)
推荐(0)
编辑
下一页
昵称:
大鹏的鸿鹄之志
园龄:
9年4个月
粉丝:
3
关注:
12
+加关注
<
2025年3月
>
日
一
二
三
四
五
六
23
24
25
26
27
28
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
1
2
3
4
5
搜索
常用链接
我的随笔
我的评论
我的参与
最新评论
我的标签
随笔分类
clickhouse(5)
Flink(5)
Flume(1)
GIT(3)
Hadoop(2)
Hive(22)
JAVA(14)
Presto(4)
Python(2)
SQL刷题笔记(1)
大数据(2)
机器学习--西瓜书(4)
离线数仓开发(21)
数据分析趣事(1)
推荐系统(1)
小工具(1)
学习小笔记(17)
更多
随笔档案
2025年2月(1)
2024年10月(2)
2024年9月(1)
2023年9月(1)
2023年3月(1)
2022年12月(1)
2022年11月(4)
2022年9月(4)
2022年8月(3)
2022年7月(8)
2022年6月(3)
2022年4月(1)
2022年3月(1)
2022年1月(2)
2021年12月(5)
2021年11月(1)
2021年10月(2)
2021年9月(5)
2021年8月(2)
2021年7月(1)
2021年6月(1)
2021年5月(2)
2021年4月(7)
2021年3月(6)
2021年2月(2)
2021年1月(4)
2020年12月(2)
2020年11月(5)
2020年10月(2)
2020年9月(6)
2020年1月(1)
2019年12月(5)
2019年11月(21)
2019年10月(13)
更多
阅读排行榜
1. clickhouse日期函数(16899)
2. 数据倾斜的原因和解决方案(11167)
3. HIVE解析json数组(4497)
4. IDEA打开java项目后不能运行(3870)
5. HIVE函数大全(3524)
评论排行榜
1. MR运行流程(2)
2. Hadoop(2)
3. hive调优(1)
推荐排行榜
1. Presto的基本概念(2)
2. Presto常见问题优化(1)
3. HIve实现数据抽样(1)
4. 数据倾斜的原因和解决方案(1)
最新评论
1. Re:MR运行流程
这块我有一个疑问,楼主,为啥reduce端不用环形缓冲区呢?用环形缓冲区应该也没问题吧
--dachun777
2. Re:MR运行流程
感谢up主,解决了我的疑问,reduce端的缓冲区的问题,被这个问题困扰了好久了
--dachun777
3. Re:Hadoop
client和namenode之间是通过rpc通信;
datanode和namenode之间是通过rpc通信;
client和datanode之间是通过简单的socket通信。
--大鹏的鸿鹄之志
4. Re:Hadoop
Hadoop是怎么保证不同的副本会在不同的机器上的?
--大鹏的鸿鹄之志
5. Re:hive调优
本章只是从HQL层面介绍一下,日常开发HQL中需要注意的一些优化点,不涉及Hadoop层面的参数、配置等优化。其中大部分是我之前发过的博客文章,这里整理了下。11.1 使用分区剪裁、列剪裁在SELEC...
--pengh
点击右上角即可分享