希言自然

摘要： 遇到的问题：进行sqoop抽数时，虽然能成功执行，但是过程中有很多这样的信息 19/11/20 15:17:11 INFO mapreduce.Job: Task Id : attempt_1573713322094_0282_m_000002_0, Status : FAILEDError: ja 阅读全文

摘要： #把时间转化成时间戳select cast('1966-07-30' as timestamp);select cast('1985-09-25 17:45:30.005' as timestamp);select cast('08:30:00' as timestamp);#取月份 无效月份为nu 阅读全文

摘要： 1.底层是testfile格式，上层为parquet存储，相比parquet查询性能较好。 2.对于脚本中使用的临时表，如果存在以下情况需要进行统计表信息 1)本身数据量较大 2)需要和大量数据表进行关联 3)本身被较多次使用 3.对于重复使用计算的SQL，需要事前计算好数据，放到临时表中使用，节省 阅读全文

摘要： Apache Hive支持Apache Hadoop中使用的几种熟悉的文件格式，如TextFile，RCFile，SequenceFile，AVRO，ORC和Parquet格式。 Cloudera Impala也支持这些文件格式。 在建表时使用STORED AS (TextFile|RCFile|S 阅读全文

摘要： 因为我们日常使用的rm 命令没有恢复机制，删除了文件就找不到了，往往重要的文件，我们要特别小心才对，但是有时还是避免不了我们的误操作。可能会造成很大的影响。 本博文简单介绍一下，用trash命令仿照Windows下的回收站机制操作 1.首先我们需要下载安装包 wget https://github. 阅读全文