摘要：
Spark解析及运用 一、Spark（大规模数据处理引擎）的特点 0、Spark的优点是什么？spark框架的数据结构是什么？针对于不同的情况，spark怎么更改数据结构？spark数据流的传递是怎么？spark的数据的安全性怎么保证？ 1、speed：Spark应用程序的中间数据是存储在内存中的， 阅读全文
摘要：
Spark核心 RDD（下） 引言 Spark核心 RDD（下）主要内容包括：一、Spark编程接口（API），二、使用RDD表示的基于数据并行的应用，三、Spark中的RDD关联关系的源码分析 一、Spark编程接口 预备知识： 1、Scala：是一种基于JVM的静态类型、函数式、面向对象的语言。 阅读全文
摘要：
Hadoop MapReduce MapReduce包含哪些组件？ 运行机制？>>>>数据流的分片是等长的吗？ 运行框架？ 离线计算框架？ 局限点在哪？ 每个版本的优化在哪一些方面？ 一、基础知识： 1、MapReduce是一种可用于数据处理的编程模型。Hadoop可以运行各种语言版本的MapRed 阅读全文
摘要：
Hadoop YARN 一、概述： Hadoop1.0之前只有MapReduce的运行框架JobTracker，集群里面只有两种节点，一个是master，一个是worker。master既做资源调度又做程序调度，worker只是用来参与计算的。Hadoop2.0之后加入了YARN集群，Yarn集群的 阅读全文
摘要：
Hadoop 生态系统 概述： hadoop使用领域非常广泛，针对于不同的领域和不同的功能，各家厂商开发了并提供了很多与Hadoop相关的开发工具、开源软件、商业化工具和技术服务。Hadoop的生态系统非常丰富！本文主要内容就是解析Hadoop生态系统中各个组成部分。 一、Hadoop的生态系统 1 阅读全文
摘要：
合并两个有序链表 概述： 将两个有序链表合并为一个新的有序链表并返回。新链表是通过拼接给定的两个链表的所有节点组成的。 示例：输入：1->2->4, 1->3->4 输出：1->1->2->3->4->4 方法一：递归 递归地定义在两个链表里的 merge 操作： list1[0]+merge(li 阅读全文
摘要：
python基础01 基本数据结构（下 ） 概述： 主要介绍集合（set） 一、基本概念 1、集合（set）是一个无序的不重复元素序列 二、集合的基本操作 一、创建集合 1、大括号 {value01,value02,...} 或者 set() 函数创建集合，注意：创建一个空集合必须用 set() 而 阅读全文
摘要：
数据结构 树（下） 一、概述 AVL树、伸展树、红黑树搜索树算法保证最坏情况或者一系列操作情况下，搜索、插入和删除的操作的时间复杂度是O(logn)。本文主要内容包含：平衡搜索树中的AVL树、伸展树、（2,4）树、红黑树 和（a，b）树、B树等实际运用的树数据结构。 二叉搜索树的删除 二、AVL树 阅读全文
摘要：
数据结构 树（上） 一、概述 主要内容包含树的基本概念、二叉树（平衡二叉树、完全二叉树、满二叉树）、搜索树（二叉搜索树、平衡搜索树、AVL树、伸展树、（2,4）树、红黑树）、（a，b）树、B树等实际运用的树数据结构 二、基本知识（树的定义和属性） 1、树（非线性数据结构）运用于一些算法实现的效率会比 阅读全文
摘要：
Python Scrapy爬虫 预备知识： 1、Scrapy框架：是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架。 2、Scrapy去重原理：Scrapy本身自带有一个中间件。scrapy源码中可以找到一个dupefilters.py去重器，需要将dont_filter设 阅读全文