会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
我得去图书馆了
博客园
首页
博问
闪存
新随笔
订阅
管理
上一页
1
2
3
4
5
6
···
20
下一页
2019年9月16日
从服务端下载文件到本地windows
摘要: 之前常使用本地ubuntu和远程的centos服务器或者是本地mac和远程centos服务器通过命令scp或者nc来进行文件的传输。 现在用的是windows系统,欲将服务器的某文件load到本地。 查了资料,在windows安装xshell的情况下,且服务器安装sz、rz服务的情况下,使用sz进行
阅读全文
posted @ 2019-09-16 17:07 我得去图书馆了
阅读(5560)
评论(0)
推荐(0)
编辑
2019年9月11日
spark
摘要: 1、在yarn模式下运行spark作业 (1)如果想让spark作业可以运行在yarn上,那么首先必须在配置文件spark-env.sh文件中,配置HADOOP_CONF_DIR或者YARN_CONF_DIR属性,因为再使用spark-submit提交spark作业时,要先给yarn的resourc
阅读全文
posted @ 2019-09-11 14:33 我得去图书馆了
阅读(227)
评论(0)
推荐(0)
编辑
2019年9月10日
【spark core学习---算子总结(java版本) (第1部分)】
摘要: map算子 flatMap算子 mapParitions算子 filter算子 mapParttionsWithIndex算子 sample算子 distinct算子 groupByKey算子 reduceByKey算子 1、map算子 (1)任何类型的RDD都可以调用map算子;在java中,ma
阅读全文
posted @ 2019-09-10 19:30 我得去图书馆了
阅读(518)
评论(0)
推荐(0)
编辑
2019年9月3日
为centos7配置阿里yum源遇到的问题以及解决方法
摘要: 【问题背景】 卸载安装的Ambari,之前都是因为卸载不干净。这次重写安装,卸载完之后,发现httpd无法启动,所以想卸载httpd进行重新安装,但是执行命令yum list | grep httpd报错。 【遇到的问题】 配置过程很简单,去https://opsx.alibaba.com/mirr
阅读全文
posted @ 2019-09-03 14:42 我得去图书馆了
阅读(55674)
评论(3)
推荐(4)
编辑
2019年8月20日
[ambari环境搭建](未完待续)
摘要: 【安装】 https://blog.csdn.net/Happy_Sunshine_Boy/article/details/86595945#commentBox https://www.jianshu.com/p/f62947a88527 【卸载】 需要卸载干净才能进行安装,否则会出很多问题,卸载
阅读全文
posted @ 2019-08-20 19:28 我得去图书馆了
阅读(593)
评论(0)
推荐(0)
编辑
2019年8月16日
[大数据相关] Hive中的全排序:order by,sort by, distribute by
摘要: 写mapreduce程序时,如果reduce个数>1,想要实现全排序需要控制好map的输出,详见Hadoop简单实现全排序。 现在学了hive,写sql大家都很熟悉,如果一个order by解决了全排序还用那么麻烦写mapreduce函数吗? 事实上,hive使用order by会默认设置reduc
阅读全文
posted @ 2019-08-16 15:55 我得去图书馆了
阅读(3363)
评论(0)
推荐(0)
编辑
[mysql] Mysql数据分组GROUP BY 和HAVING,与WHERE组合使用
摘要: 理解分组,可以这样:对GROUP BY子句后面跟随的列名进行分组,然后对每一个分组而不是整个表进行操作。 举例:在产品表中,检索每一个供应商提供的商品的数量。 结果:+ + +| vend_id | num_prods |+ + +| 1001 | 3 || 1002 | 2 || 1003 | 7
阅读全文
posted @ 2019-08-16 14:41 我得去图书馆了
阅读(2045)
评论(0)
推荐(0)
编辑
2019年8月8日
【hadoop环境问题】namenode无法启动问题解决
摘要: 【问题背景】 要在自己的阿里云上搭伪分布式,用来复习和强化hive相关的知识,在执行脚本 sh start-dfs.sh后,jps后: 然后查看name的日志,报错如下: 【解决方法】 网上的很多方法,例如查看9000端口是否被占用等都没有起作用。后来才知道原来阿里云服务器不支持绑定公网ip(云服务
阅读全文
posted @ 2019-08-08 16:38 我得去图书馆了
阅读(1597)
评论(0)
推荐(0)
编辑
2019年8月7日
【java】Java.math.BigDecimal.subtract()方法实例
摘要: java.math.BigDecimal.subtract(BigDecimal subtrahend) 返回一个BigDecimal,其值为 (this - subtrahend), 精度为 max(this.scale(), subtrahend.scale()). 声明 以下是声明java.m
阅读全文
posted @ 2019-08-07 14:24 我得去图书馆了
阅读(4953)
评论(0)
推荐(0)
编辑
2019年8月6日
利用 force index优化sql语句性能
摘要: 【转自:https://blog.csdn.net/bruce128/article/details/46777567】并进行总结 今天写了一个统计sql,在一个近亿条数据的表上执行,200s都查不出结果。SQL如下: 执行explain,发现这个sql扫描了8000W条记录到磁盘上。然后再进行筛选
阅读全文
posted @ 2019-08-06 19:08 我得去图书馆了
阅读(331)
评论(0)
推荐(0)
编辑
上一页
1
2
3
4
5
6
···
20
下一页