静悟生慧

2019年4月21日

摘要： https://blog.csdn.net/dcrmg/article/details/53912941 多线程操作的thread类，简单多线程示例：输出： Thread 02 is working ！Thread 01 is working ！ Thread 01 is working ！Thr 阅读全文

posted @ 2019-04-21 13:46 静悟生慧阅读(702) 评论(0) 推荐(0) 编辑

Typora的使用

摘要： Markdown是一种可以使用普通文本编辑器编写的标记语言，通过简单的标记语法，它可以使普通文本内容具有一定的格式，其目标是实现易读易写。我刚刚接触一款简单高效的Markdown编辑器–Typora，个人觉得非常好用，强烈推荐给大家。一、Typora的优点简洁美观实时预览扩展语法跨平台免费二、主阅读全文

posted @ 2019-04-21 11:53 静悟生慧阅读(1389) 评论(0) 推荐(0) 编辑

2019年4月16日

hive SQL 静态分区和动态分区

摘要： Hive 分区介绍： hive中简单介绍分区表(partition table)，含动态分区(dynamic partition)与静态分区(static partition) hive中创建分区表没有什么复杂的分区类型(范围分区、列表分区、hash分区、混合分区等)。分区列也不是表中的一个实际的阅读全文

posted @ 2019-04-16 10:39 静悟生慧阅读(5484) 评论(0) 推荐(1) 编辑

2019年4月15日

hive SQL COALESCE 函数

摘要： COALESCE是一个函数， (expression_1, expression_2, ...,expression_n)依次参考各参数表达式，遇到非null值即停止并返回该值。如果所有的表达式都是空值，最终将返回一个空值。比如我们要登记用户的电话，数据库中包含他的person_tel,home_ 阅读全文

posted @ 2019-04-15 20:22 静悟生慧阅读(38096) 评论(0) 推荐(1) 编辑

2019年4月12日

hive SQL 行转列和列转行

摘要：一、行转列的使用１、问题 hive如何将 a b 1a b 2a b 3c d 4c d 5c d 6 变为： a b 1,2,3c d 4,5,6 ２、数据 test.txt a b 1 a b 2 a b 3 c d 4 c d 5 c d 6 ３、答案 1.建表 2.处理二、列转行１、问阅读全文

posted @ 2019-04-12 14:30 静悟生慧阅读(7019) 评论(0) 推荐(0) 编辑

2019年4月3日

Hive 根据表中某个字段动态分区以及临时表创建

摘要：使用hive储存数据时，需要对做分区，如果从kafka接收数据，将每天的数据保存一个分区（按天分区），保存分区时需要根据某个字段做动态分区，而不是傻傻的将数据写到某一个临时目录最后倒入到某一个分区，这是静态分区。 Hive动态分区步骤如下： 1、建立某一个源表模拟数据源并插入一些数据 2、建立一张分阅读全文

posted @ 2019-04-03 19:47 静悟生慧阅读(4304) 评论(0) 推荐(0) 编辑

Spark2.3 HA集群的分布式安装

摘要：一、下载Spark安装包 1、从官网下载 http://spark.apache.org/downloads.html 2、从微软的镜像站下载 http://mirrors.hust.edu.cn/apache/ 3、从清华的镜像站下载 https://mirrors.tuna.tsinghua.e 阅读全文

posted @ 2019-04-03 15:09 静悟生慧阅读(311) 评论(0) 推荐(0) 编辑

Spark初识

摘要：一、简介 1、什么是Spark 官网地址：http://spark.apache.org/ Apache Spark™是用于大规模数据处理的统一分析引擎。从右侧最后一条新闻看，Spark也用于AI人工智能 spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室开发的通用阅读全文

posted @ 2019-04-03 14:59 静悟生慧阅读(365) 评论(0) 推荐(0) 编辑

Hive SQL grouping sets 用法

摘要：概述 GROUPING SETS,GROUPING__ID,CUBE,ROLLUP 这几个分析函数通常用于OLAP中，不能累加，而且需要根据不同维度上钻和下钻的指标统计，比如，分小时、天、月的UV数。 GROUPING SETS和GROUPING__ID 说明在一个GROUP BY查询中，根据不同阅读全文

posted @ 2019-04-03 13:26 静悟生慧阅读(48514) 评论(2) 推荐(4) 编辑

2019年4月2日

目标检测比赛---Google AI Open Images - Object Detection Track

摘要： https://www.kaggle.com/c/google-ai-open-images-object-detection-track#Evaluation Submissions are evaluated by computing mean Average Precision (AP), m 阅读全文

posted @ 2019-04-02 20:49 静悟生慧阅读(1241) 评论(0) 推荐(0) 编辑

公告