shell 命令 netstat 查看端口占用
摘要：
查看 8888端口的占用情况 阅读全文
posted @ 2019-03-20 14:29 dairui130 阅读(2640) 评论(0) 推荐(0) 编辑
2019年3月20日 #
2019年3月19日 #
hive 修复分区、添加二级分区
摘要：
我们在之前的文章中，介绍了二级分区，混合分区，静态分区，动态分区的区别和建表。 今天我们聊下，当我们建好分区表。并且通过程序在表的分区目录（location）下，写入了文件。 如何在hive中查询到插入的分区数据。 假如我们直接查表，会发现因为没有在表的元数据中加入新增的分区信息，导致查不到数据。 阅读全文
posted @ 2019-03-19 20:44 dairui130 阅读(2733) 评论(0) 推荐(0) 编辑
2019年3月18日 #
hive sql 查询一张表的数据不在另一张表中
摘要：
有时，我们需要对比两张表的数据，找到在其中一张表，不在另一张表中的数据 hql 如下： 阅读全文
posted @ 2019-03-18 15:26 dairui130 阅读(6438) 评论(0) 推荐(0) 编辑
shell 命令 bc linux下的计算器
摘要：
bc命令 在linux环境下的计算器。 阅读全文
posted @ 2019-03-18 14:49 dairui130 阅读(166) 评论(0) 推荐(0) 编辑
2019年3月17日 #
shell 命令 grep -v
摘要：
grep -v shell命令中，grep命令，是对文本行的搜索命令。grep -v就是反向文本行搜索。 当控制台输出很多时，有很多是我们不想看到的，就可以用到grep -v命令 举个栗子：ls -l 结果如下： 我们不想看到包含repair的行，执行如下的命令： 结果如下： 结合管道，grep - 阅读全文
posted @ 2019-03-17 17:31 dairui130 阅读(12256) 评论(0) 推荐(1) 编辑
2019年3月15日 #
shell 命令 -- 漂亮的资源查看命令 htop
摘要：
htop 相较top，htop更加直接和美观。 阅读全文
posted @ 2019-03-15 15:58 dairui130 阅读(212) 评论(0) 推荐(0) 编辑
shell 命令 --ps aux | grep
摘要：
ps aux | grep 要查询的进程名 查询当前进程，如 确认过需要查询的进程，就可以进行 kill -9 进程号等操作了。 阅读全文
posted @ 2019-03-15 15:51 dairui130 阅读(1235) 评论(0) 推荐(0) 编辑
presto调研和json解析函数的使用
摘要：
presto简单介绍 presto是一个分布式的sql交互式查询引擎。可以达到hive查询效率的5到10倍。支持多种数据源的秒级查询。 presto是基于内存查询的，这也是它为什么查询快的原因。除了基于内存，presto还使用了 向量计算， 动态编译执⾏计划 优化的ORC和Parquet Reade 阅读全文
posted @ 2019-03-15 14:35 dairui130 阅读(22789) 评论(0) 推荐(0) 编辑
2019年3月14日 #
shell wc -l
摘要：
shell 命令之 wc -l 给出一个比较常用的命令： 查询当前文件夹下的文件的总行数。 原理就是统计了文件中换行符的数量。 阅读全文
posted @ 2019-03-14 21:31 dairui130 阅读(711) 评论(0) 推荐(0) 编辑
2019年3月13日 #
hive 动态分区与混合分区
摘要：
hive的分区概念，相信大家都非常了解了。通过将数据放在hdfs不同的文件目录下，查表时，只扫描对应分区下的数据，避免了全表扫描。 提升了查询效率。 关于hive分区，我们还会用到多级分区、动态分区、混合分区，这些概念是什么含义，又该在何时使用呢？ 静态分区 先说下静态分区。静态分区就是人为指定分区 阅读全文
posted @ 2019-03-13 10:26 dairui130 阅读(2617) 评论(0) 推荐(0) 编辑