会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
何建新
Powered by
博客园
博客园
|
首页
|
新随笔
|
联系
|
订阅
|
管理
2019年12月9日
阿里云服务器基础相关
摘要: 大数据相关组件下载网址:http://archive.apache.org/dist/阿里云密钥对设置:https://blog.csdn.net/jincheng2817/article/details/86660078 阿里云搭建hadoop 内外网IP配置问题:https://www.cnbl
阅读全文
posted @ 2019-12-09 18:18 何建新
阅读(209)
评论(0)
推荐(0)
编辑
2019年1月25日
shell脚本检查进程脚本
摘要: #linux查询进程是否存在,如果不存在则启动该进程:#!/bin/bashps_out=`ps -ef | grep $1 | grep -v 'grep' | grep -v $0`result=$(echo $ps_out | grep "$1")if [[ "$result" != "" ]
阅读全文
posted @ 2019-01-25 17:39 何建新
阅读(1156)
评论(0)
推荐(1)
编辑
2018年12月27日
linux 远程批量分发脚本
摘要: #!/bin/bash#1 获取输入参数个数,如果没有参数,直接退出pcount=$#if((pcount==0)); thenecho no args;exit;fi #2 获取文件名称p1=$1fname=`basename $p1`echo fname=$fname #3 获取上级目录到绝对路
阅读全文
posted @ 2018-12-27 15:07 何建新
阅读(519)
评论(0)
推荐(0)
编辑
2018年12月26日
Yarn 内存分配管理机制及相关参数配置
摘要: https://blog.csdn.net/suifeng3051/article/details/45477773
阅读全文
posted @ 2018-12-26 17:53 何建新
阅读(237)
评论(0)
推荐(0)
编辑
2018年10月17日
ranger0.5.4-开源安装配置
摘要: 恢复内容开始 一.Ranger编译 安装Ranger之前要进行编译,首先下载源代码: 命令步骤: git clone https://github.com/apache/incubator-ranger.git cd incubator-ranger git checkout ranger-0.5
阅读全文
posted @ 2018-10-17 14:13 何建新
阅读(1479)
评论(0)
推荐(0)
编辑
2018年7月16日
Spark Streaming 读取Kafka数据写入ES
摘要: 简介: 目前项目中已有多个渠道到Kafka的数据处理,本文主要记录通过Spark Streaming 读取Kafka中的数据,写入到Elasticsearch,达到一个实时(严格来说,是近实时,刷新时间间隔可以自定义)数据刷新的效果。 应用场景: 业务库系统做多维分析的时候,数据来源各不相同。很多历
阅读全文
posted @ 2018-07-16 11:15 何建新
阅读(5141)
评论(0)
推荐(0)
编辑
2018年2月1日
kettle与sqoop的比较
摘要: Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。Sqoop主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递 kettle有图形化的操作界面,
阅读全文
posted @ 2018-02-01 10:58 何建新
阅读(7623)
评论(0)
推荐(0)
编辑
spark常用算子
摘要: countByKey:根据RDD的key分组统计对应的value的个数是多少 countByValue:根据RDD的每个元素分组统计相同元素的的个数是多少 coalesce:对已有分区但是分区内数据倾斜的情况,如果确定正在缩减分区的数量重新分区使用coalesce算子,该算子可以参数指定是否进行sh
阅读全文
posted @ 2018-02-01 10:58 何建新
阅读(371)
评论(0)
推荐(0)
编辑
eclipse快捷键
摘要: 1. ctrl+shift+r:打开资源 2. ctrl+o:快速outline3. ctrl+e:快速转换编辑器4. ctrl+2,L:为本地变量赋值5. alt+shift+r:重命名6. alt+shift+l以及alt+shift+m:提取本地变量及方法7. shift+enter及ctrl
阅读全文
posted @ 2018-02-01 10:57 何建新
阅读(125)
评论(0)
推荐(0)
编辑
hive相关操作
摘要: hive指令: 1:重命名表ALTER TABLE table_name RENAME TO new_table_name;上面这个命令可以重命名表,数据所在的位置和分区都没有改变。 2:改变列名/类型/位置/注释ALTER TABLE table_name CHANGE[CLOUMN] col_o
阅读全文
posted @ 2018-02-01 10:57 何建新
阅读(206)
评论(0)
推荐(0)
编辑
下一页