会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
何建新
Powered by
博客园
博客园
|
首页
|
新随笔
|
联系
|
订阅
|
管理
2018年2月1日
kettle与sqoop的比较
摘要: Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。Sqoop主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递 kettle有图形化的操作界面,
阅读全文
posted @ 2018-02-01 10:58 何建新
阅读(7603)
评论(0)
推荐(0)
编辑
spark常用算子
摘要: countByKey:根据RDD的key分组统计对应的value的个数是多少 countByValue:根据RDD的每个元素分组统计相同元素的的个数是多少 coalesce:对已有分区但是分区内数据倾斜的情况,如果确定正在缩减分区的数量重新分区使用coalesce算子,该算子可以参数指定是否进行sh
阅读全文
posted @ 2018-02-01 10:58 何建新
阅读(365)
评论(0)
推荐(0)
编辑
eclipse快捷键
摘要: 1. ctrl+shift+r:打开资源 2. ctrl+o:快速outline3. ctrl+e:快速转换编辑器4. ctrl+2,L:为本地变量赋值5. alt+shift+r:重命名6. alt+shift+l以及alt+shift+m:提取本地变量及方法7. shift+enter及ctrl
阅读全文
posted @ 2018-02-01 10:57 何建新
阅读(124)
评论(0)
推荐(0)
编辑
hive相关操作
摘要: hive指令: 1:重命名表ALTER TABLE table_name RENAME TO new_table_name;上面这个命令可以重命名表,数据所在的位置和分区都没有改变。 2:改变列名/类型/位置/注释ALTER TABLE table_name CHANGE[CLOUMN] col_o
阅读全文
posted @ 2018-02-01 10:57 何建新
阅读(205)
评论(0)
推荐(0)
编辑
linux系统操作mysql常用指令
摘要: 1.终端启动MySQL:/etc/init.d/mysql start; 2.登录MySQL:mysql -uroot -p (用root账户登录),然后输入密码; 3.查看所有的数据库名字:show databases; 4.选择一个数据库操作: use database_name; 5.查看当前
阅读全文
posted @ 2018-02-01 10:56 何建新
阅读(10648)
评论(0)
推荐(0)
编辑