摘要：
在使用hive sql进行数据分析和统计的时候经常会使用到日期函数。所以现在想把日期函数整理一下。方便自己后期查看使用 时间辍转换函数 unix_timestamp(string date) 直接执行select unix_timestamp()获取当前时间辍。 如果参数date满足yyyy-MM- 阅读全文
摘要：
平衡二叉树 概念：可以是空树。 假如不是空树，任何一个结点的左子树与右子树都是平衡二叉树，并且高度之差的绝对值不超过1。 判断代码 public boolean IsBalanced_Solution(TreeNode root) { if (root == null) return true; r 阅读全文
摘要：
给出一个有n个元素的数组S，S中是否有元素a,b,c满足a+b+c=0？找出数组S中所有满足条件的三元组。 注意： 三元组（a、b、c）中的元素必须按非降序排列。（即a≤b≤c） 解集中不能包含重复的三元组。 例如，给定的数组 S = {-10 0 10 20 -10 -40},解集为(-10, - 阅读全文
摘要：
内部表 hive的内部表需要加载数据到hive所在的hdfs目录，删除时，hive的元数据和数据文件都会删除。一旦误删，数据恢复非常麻烦。 外部表 hive的外部表不加载数据到hive所在的hdfs目录，删除时，只会删除表结构元数据信息。外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。 阅读全文
摘要：
前几天遇到一个这样的需求：销售总占比加起来超过75%的top分类。具体需求是这样的：商品一级分类标签下面有许多商品标签，例如运动户外一级标签，下面可能存在361°，CBA，Nike，Adidas...等这些商品标签。我们需要统计在一级标签下面占总销售比超过75%的商品标签有哪些，从而让我们了解一级品 阅读全文
摘要：
线性规划问题 首先引入如下的问题： 假设食物的各种营养成分、价格如下表： FoodEnergy（能量）Protein（蛋白质）Calcium（钙）Price Oatmeal（燕麦） 110 4 2 3 Whole milk（全奶） 160 8 285 9 Cherry pie（草莓派） 420 4 阅读全文
摘要：
一、算法介绍 KNN算法中文名称叫做K近邻算法，是众多机器学习算法里面最基础入门的算法。它是一个有监督的机器学习算法，既可以用来做分类任务也可以用来做回归任务。KNN算法的核心思想是未标记的样本的类别，由距离他最近的K个邻居投票来决定。下面我们来看个例子加深理解一下： 如上图所描述张三要参加一家公司 阅读全文
摘要：
一、需求利用flume采集Linux下的文件信息，并且传入到kafka集群当中。环境准备zookeeper集群和kafka集群安装好。二、配置flume官网下载flume。博主自己这里使用的是flume1.6.0。官网地址http://flume.apache.org/download.html解压缩。tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /usr/... 阅读全文
摘要：
一、 The method iterator() is ambiguous for the type KafkaStream 最近在学习消息总线Kafka的时候，在IDEA中写了一个简单的生产者和消费者demo。但是消费者端一直报错。错误信息如下： 1 ConsumerIterator it =stream.iterator(); 2 这句代码老是报错，The meth... 阅读全文
摘要：
前几天面试了一家公司，给了两个算法题目。觉得挺有意思的，当时面试回答的时候回答的不太好。随后回来找了一下资料。记录一下。 一、题目一 有1000瓶水，其中有一瓶有毒，小白鼠只要尝一点带毒的水24小时后就会死亡，至少要多少只小白鼠才能在24小时时鉴别出那瓶水有毒。楼主这个题目当时没有回答出很好的方案。只想到了这个题目应该和二进制有联系。回来后在网上查找了一下资... 阅读全文