dairui130

摘要： crontab是shell命令中的定时任务： crontab -e 进入当前定时任务的vim页面 每行是一个独立的定时脚本，使用和vim的语法部署定时任务 如下图： 脚本执行周期设置 可以用下面的网页做周期的验证： https://tool.lu/crontab 阅读全文

摘要： shell 中的 && 和 || 简言之，shell 中 && --左边的命令执行成功才会执行右边的命令。 || -- 左边的命令执行失败才会执行右边的命令。 阅读全文

摘要： 转自：https://blog.csdn.net/csdnliuxin123524/article/details/81052974 桶表(bucket table): 原理: 分区表是按照经常查询的字段做不同的分区,查询时就可以按分区进行查了.这样可以减小全局扫描提高查询的速度.分区表的缺陷就是选 阅读全文

摘要： 阿里的《大数据之路》记录了阿里的大数据系统的产生，演化和设计思路。是大数据进阶的经典书籍。 本篇读书笔记会按照《大数据之路》的目录结构，记录我在阅读这本书的时候， 第一章：总述 待更新。。。 阅读全文

摘要： 建表时，需要考虑究竟建内部表还是外部表，内部表和外部表都有哪些不同？ 内部表： 1. 数据存储位置：数据最终会被移动到 hive.metastore.warehouse.dir指定的路径下，以表名创建一个文件夹，之后所有有关该表的数据都会存储到此文件夹中。 2.删除表时，表中的数据和元数据信息都会被 阅读全文

摘要： 解释&背景 Anaconda 是一个用于科学计算的 Python 发行版，支持 Linux, Mac, Windows, 包含了众多流行的科学计算、数据分析的 Python 包。 python2会在2020年1月1日正式停止服务。由于语法的不兼容，很多大公司也在做Python2向python3的代码 阅读全文