04 2017 档案
摘要：转自:http://blog.csdn.net/lsshlsw/article/details/49155087 一. 运维 二. 运行错误 missing output location 当前的配置为每个executor使用1core,5GRAM,启动了20个executor spark.exec
阅读全文
摘要：作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 转载请注明出处 需要用python的脚本来快速检测一个文件内的二个时间日期字符串的大小，其实实现很简单,首先一些基础的日期格式化知识如下 然后需要了解python中time,datetime,字符串时间之间的转换
阅读全文
摘要：摘要: 作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 转载请注明出处 这几天想cat一下某天的HDFS文件内容的时候突然报Cannot obtain block length for LocatedBlock异常，get也一样，这样无法访问hdfs文件的问题
阅读全文
摘要：转自:http://blog.csdn.net/androidlushangderen/article/details/52850349 HDFS租约的概念 每个客户端用户持有一个租约。 每个租约内部包含有一个租约持有者信息，还有此租约对应的文件Id列表，表示当前租约持有者正在写这些文件Id对应的文
阅读全文
摘要：转自:http://blog.csdn.net/iamlaosong/article/details/54728393 最近要编个shell脚本处理数据，需要检测数据文件是否存在，文件名中包含日期，所以需要生成最近几天的日期，以便检测文件是否存在，看下面的脚本中如何使用双引号、单引号、反引号： $
阅读全文
摘要：摘要: 作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 转载请注明出处 快速mark一下这个命令细节，免得以后使用又忘记了 大家都知道可以用echo来输出内容到文件，比如 echo “hello,word”>> temp.txt 那么我现在想把hadoop或者
阅读全文
