08 2018 档案
摘要：转自：https://www.cnblogs.com/intval/p/5763929.html linux 系统则是由 cron (crond) 这个系统服务来控制的。Linux 系统上面原本就有非常多的计划性工作，因此这个系统服务是默认启动的。另 外, 由于使用者自己也可以设置计划任务，所以，
阅读全文
摘要：症状：shell中大于，大于等于，小于等于，lt,gt ,ne,ge,le 很对应。 应对方法： 大于 -gt (greater than) 小于 -lt (less than) 大于或等于 -ge (greater than or equal) 小于或等于 -le (less than or eq
阅读全文
摘要：后续用到在总结 Process(s"hadoop fs -rm -r ${path}").!!
阅读全文
摘要：HDFS Quotas Guide Overview HDFS允许管理员为多个每个目录设置使用的命名空间和空间的配额。命名空间配额和空间配额独立操作，但是这两种类型的配额的管理和实现非常类似。 Name Quotas 命名空间配额是一个目录树中该目录下的文件和子目录数量的硬限制。如果超出配额，文件和
阅读全文
摘要：转自：https://www.cnblogs.com/linn/p/6196293.html 按分区删除: ALTER TABLE test1 DROP PARTITION (dt='2016-04-29'); 删除符合条件的数据: insert overwrite table t_table1 s
阅读全文
摘要：前两天工作需求，要通过给的几个Oracle的视图把数据入到hive库中，很遗憾，使用的华为云平台的集区环境中并没有sqoop1，当然也并没有sqoop2，所以，想到的解决方案是使用spark读取Oracle在写入到hive表中； 1、首先，沟通了一个星期的数据库接口，是的，就是一个星期；拿到的结果为
阅读全文
摘要：转自：https://www.cnblogs.com/MOBIN/p/5618747.html#1 摘要 Hive内部提供了很多函数给开发者使用，包括数学函数，类型转换函数，条件函数，字符函数，聚合函数，表生成函数等等，这些函数都统称为内置函数。 目录 数学函数 集合函数 类型转换函数 日期函数 条
阅读全文
摘要：转自：https://blog.csdn.net/lsshlsw/article/details/49789373 很多人在spark中使用默认提供的jdbc方法时，在数据库数据较大时经常发现任务 hang 住，其实是单线程任务过重导致，这时候需要提高读取的并发度。 下文以 mysql 为例进行说明
阅读全文