摘要：
题目描述 如何得到一个数据流中的中位数？如果从数据流中读出奇数个数值，那么中位数就是所有数值排序之后位于中间的数值。如果从数据流中读出偶数个数值，那么中位数就是所有数值排序之后中间两个数的平均值。我们使用Insert()方法读取数据流，使用GetMedian()方法获取当前读取数据的中位数。 知识点 阅读全文
摘要：
也可以存入hive、HDFS，这里选择存在mysql。 一、安装mysql（python在pyspark一节已配置好） https://blog.csdn.net/zhouzezhou/article/details/52446608 安装后找不到bin目录解决方法 https://blog.csd 阅读全文
摘要：
1.场景 生成太多Map时，计算任务会耗费很多时间在Map的启动上，这时候需要对Map数进行控制。 2.原理 单独配置参数：set mapred.map.tasks=tasknum时，可能无法真正的起到调节效果，原因如下： 1)默认情况Map个数defaultNum=目标数据文件总大小totalSi 阅读全文
摘要：
题目描述 从上到下按层打印二叉树，同一层结点从左至右输出。每一层输出一行。 示例 输入 {8,6,10,5,7,9,11} 返回值 [[8],[6,10],[5,7,9,11]] 知识点回顾： 树、BFS 代码 解法一：暴力循环 用两个列表分别保存当前层节点和下一层节点；循环添加当前层节点的左右子节 阅读全文
摘要：
数据需求说明： table1的数据是 客户id，基金差额，保险差额，理财差额，。。。 create table youhua1( -> custid int -> ,jijin_change float -> ,baoxian_change float -> ,cunkuan_change floa 阅读全文
摘要：
场景： 有一批平行的数据库db1, db2, db3, ...，每个库有同样命名的一批视图tb1; tb2; ...，这些视图展示的是最新跑批结果的数据，基于这些视图下游有一些应用。 现：要将这批视图转成分区物理表，再基于该分区物理表的最新跑批结果，即最新分区做下游应用。 要求是：每张表切换新跑批脚 阅读全文
摘要：
相关知识点 shell的循环；shell连接hive-hive语句执行、hive文件执行；传参；输入输出文件，文件删除 shell中list的循环： for line in ${list[@]} #这里不能只写${list}，执行结果不对，回头测试一下 do 执行语句 done shell中的判断： 阅读全文
摘要：
爬虫 1.获取HTML网页信息 import requests url = 'http://product.dangdang.com/29148702.html' headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) Appl 阅读全文
摘要：
题目描述 给定一个二叉树和其中的一个结点，请找出中序遍历顺序的下一个结点并且返回。注意，树中的结点不仅包含左右子结点，同时包含指向父结点的指针。 知识点回顾 树 代码 解法一：暴力循环 根据给出的结点求出整棵树的根节点 根据根节点递归求出树的中序遍历，存入vector 在vector中查找当前结点， 阅读全文
摘要：
题目描述 给一个链表，若其中包含环，请找出该链表的环的入口结点，否则，输出null。 代码 解法一：暴力循环 遍历单链表的每个结点 如果当前结点地址没有出现在set中，则存入set中 否则，出现在set中，则当前结点就是环的入口结点 整个单链表遍历完，若没出现在set中，则不存在环 # -*- co 阅读全文