最最么么哒 - 博客园

2018年10月

搭建hadoop的HA集群模式（hadoop2.7.3+hive+spark）

摘要：参考：http://blog.51cto.com/12824426/2177663?source=drh 一、集群的规划 Zookeeper集群：192.168.176.131 （bigdata112）192.168.176.132 （bigdata113）192.168.176.135 （bigd 阅读全文

posted @ 2018-10-12 13:25 最最么么哒阅读(1412) 评论(0) 推荐(0) 编辑

spark运行时加载配置文件（hive，hdfs）

摘要：文章为转载，如有版权问题，请联系，谢谢！转自：https://blog.csdn.net/piduzi/article/details/81636253 适合场景:在运行时才确定用哪个数据源 import org.apache.hadoop.conf.Configurationimport org 阅读全文

posted @ 2018-10-11 15:12 最最么么哒阅读(3587) 评论(0) 推荐(0) 编辑

2018年9月

java 如何用pattern 和 Matcher 来使用正则表达式（一）

摘要：近期用到了java或者scala的正则表达式的用法，抽点时间总结一下；转自：https://www.cnblogs.com/haodawang/p/5967219.html java的regex库 java里预留了一个regex库，方便于我们在java里操作正则表达式，或者用它来匹配字符串。其中阅读全文

posted @ 2018-09-13 16:11 最最么么哒阅读(806) 评论(0) 推荐(0) 编辑

关于“java.lang.OutOfMemoryError : unable to create new native Thread”的报错问题

摘要：转自：https://www.cnblogs.com/flying-tiger/p/5956926.html java.lang.OutOfMemoryError : unable to create new native Thread. 具体截图如下：在查看日志文件的时候，也有以下出错信息： E 阅读全文

posted @ 2018-09-05 18:05 最最么么哒阅读(205) 评论(0) 推荐(0) 编辑

2018年8月

linux定时任务（转）

摘要：转自：https://www.cnblogs.com/intval/p/5763929.html linux 系统则是由 cron (crond) 这个系统服务来控制的。Linux 系统上面原本就有非常多的计划性工作，因此这个系统服务是默认启动的。另外, 由于使用者自己也可以设置计划任务，所以，阅读全文

posted @ 2018-08-28 15:22 最最么么哒阅读(195) 评论(0) 推荐(0) 编辑

shell脚本中大于，大于等于，小于，小于等于、不等于的表示方法

摘要：症状：shell中大于，大于等于，小于等于，lt,gt ,ne,ge,le 很对应。应对方法：大于 -gt (greater than) 小于 -lt (less than) 大于或等于 -ge (greater than or equal) 小于或等于 -le (less than or eq 阅读全文

posted @ 2018-08-28 11:32 最最么么哒阅读(11154) 评论(0) 推荐(0) 编辑

scala中可以执行外部命令Process

摘要：后续用到在总结 Process(s"hadoop fs -rm -r ${path}").!! 阅读全文

posted @ 2018-08-27 18:17 最最么么哒阅读(708) 评论(0) 推荐(0) 编辑

hdfs的文件个数 HDFS Quotas Guide

摘要： HDFS Quotas Guide Overview HDFS允许管理员为多个每个目录设置使用的命名空间和空间的配额。命名空间配额和空间配额独立操作，但是这两种类型的配额的管理和实现非常类似。 Name Quotas 命名空间配额是一个目录树中该目录下的文件和子目录数量的硬限制。如果超出配额，文件和阅读全文

posted @ 2018-08-21 17:26 最最么么哒阅读(1176) 评论(0) 推荐(0) 编辑

hive删除数据（转）

摘要：转自：https://www.cnblogs.com/linn/p/6196293.html 按分区删除: ALTER TABLE test1 DROP PARTITION (dt='2016-04-29'); 删除符合条件的数据: insert overwrite table t_table1 s 阅读全文

posted @ 2018-08-20 10:18 最最么么哒阅读(1080) 评论(0) 推荐(0) 编辑

spark读写Oracle、hive的艰辛之路（一）

摘要：前两天工作需求，要通过给的几个Oracle的视图把数据入到hive库中，很遗憾，使用的华为云平台的集区环境中并没有sqoop1，当然也并没有sqoop2，所以，想到的解决方案是使用spark读取Oracle在写入到hive表中； 1、首先，沟通了一个星期的数据库接口，是的，就是一个星期；拿到的结果为阅读全文

posted @ 2018-08-10 18:32 最最么么哒阅读(884) 评论(0) 推荐(0) 编辑

公告