摘要：
"Spark快速回顾汇总(1)" "Spark快速回顾汇总(2)" 1 简述 Spark 中共享变量（广播变量和累加器）的基本原理与 用途。（重点） 2 当 Spark 涉及到数据库的操作时，如何减少 Spark 运行中的 数据库连接数 使用 foreachPartition 代替 foreach， 阅读全文
摘要：
"Spark快速回顾汇总(1)" "Spark快速回顾汇总(2)" 1 Spark 有几种部署方式 1）Local:运行在一台机器上,通常用于测试。Spark程序以多线程方式直接运行在本地 2）Standalone:Spark集群独立运行，不依赖于第三方资源管理系统，如：YARN、Mesos 采用M 阅读全文
摘要：
1 需求描述 Hql统计出热搜关键词，使用Sqoop将结果从Hive导出到Mysql，其中关键字是中文，需要注意建表语句和Sqoop导出参数的设置。这里记录整个导出过程及遇到问题如何排查解决。 2 Sqoop导出Hive数据到Mysql 2.1 Mysql建表 create table if not 阅读全文
摘要：
## 阅读全文
摘要：
1 需求描述 监测每张表的状态变更情况，主要有三个字段 schema,version和status。 其中schema表示一张表，version表示表的版本，表每变更一次版本加1，status表示表的状态 1表示有效，-1表示失效。 下面用简易版实例展示实现过程。 2 需求实现 2.1 建表 CRE 阅读全文
摘要：
1 sigmoid 1.1 sigmoid函数的公式 \(f(x)= \frac{1}{1+e^{-x}}\) 1.2 sigmoid函数的导数公式 \(f'(x)= f(x)\cdot [1-f(x)]\) 1.3 sigmoid函数代码实现 class SigmoidActivator(obje 阅读全文
摘要：
原始数据 A,2017-10-11,300 A,2017-10-12,200 A,2017-10-13,100 A,2017-10-15,100 A,2017-10-16,300 A,2017-10-17,150 A,2017-10-18,340 A,2017-10-19,360 B,2017-10 阅读全文
摘要：
蚂蚁森林案例背景说明 原始数据样例 user_low_carbon.txt 记录用户每天的蚂蚁森林低碳生活领取的流水 数据样例 u_001 2017/1/1 10 u_001 2017/1/2 150 u_001 2017/1/2 110 plant_carbon.txt 记录申领环保植物所需要减少 阅读全文
摘要：
斐波拉契数列 面试题007 斐波拉契数列 题目描述：大家都知道斐波那契数列，现在要求输入一个整数n，请你输出斐波那契数列的第n项（从0开始，第0项为0，第1项是1）。n=0) { if(array[row][col]==target) { return true; }else if(array[ro 阅读全文
摘要：
1 Hash Table 面试题034 第一个只出现一次的字符 题目描述：在一个字符串(0<=字符串长度<=10000，全部由字母组成)中找到第一个只出现一次的字符,并返回它的位置, 如果没有则返回 1（需要区分大小写）.（从0开始计数） 解题思路：正向遍历，输出第一个数量为1的字符 代码 解题思路 阅读全文
摘要：
前段时间腾讯视频面遇到的题目，第一个方法用冒泡实现时间复杂度太高，又用堆优化了一遍，还可以进一步优化，下面总结一下 面试题029 最小的K个数 题目描述：输入n个整数，找出其中最小的K个数。例如输入4,5,1,6,2,7,3,8这8个数字，则最小的4个数字是1,2,3,4,。 解题思路：排序 代码 阅读全文
摘要：
面试题005 用两个栈实现队列 题目表述： 用两个栈来实现一个队列，完成队列的Push和Pop操作。 队列中的元素为int类型。 解题思路： 实现入队和出队操作，stackA用来进栈，stackB出栈，stackB为空则stackA出栈给stackB 代码： 面试题020 包含min函数的栈 题目描 阅读全文