摘要：
Spark版本：1.6.2 简介：本文档简短的介绍了spark如何在集群中运行，便于理解spark相关组件。可以通过阅读应用提交文档了解如何在集群中提交应用。 组件 spark应用程序通过主程序的SparkContext对象进行协调，在集群上通过一系列独立的处理流程运行。为了便于迁移，SparkCo 阅读全文
摘要：
Spark版本：1.6.2 spark-submit提供了在所有集群平台提交应用的统一接口，你不需要因为平台的迁移改变配置。Spark支持三种集群：Standalone、Apache Mesos和Hadoop Yarn。 绑定应用程序依赖库 如果你的应用程序依赖其他项目，需要将其一起打包，打包时需要 阅读全文
摘要：
本章主要介绍Spark如何处理键值对。K-V RDDs通常用于聚集操作，使用相同的key聚集或者对不同的RDD进行聚集。部分情况下，需要将spark中的数据记录转换为键值对然后进行聚集处理。我们也会对键值对RDD的高级特性——分区进行讨论，用户可以控制RDD在节点间的布局，确保数据在同一机器上面，减 阅读全文
摘要：
由于需要对h5（hdf5）格式的dem数据进行拼接，但是arcgis不能识别h5的地理参考信息，所以先将h5文件转为带地理参考的tif文件，然后再进行拼接。工具：arcgis+envi1、用arcgis add data添加数据，然后右击数据，export data ，输出类型选择tiff，假设输出... 阅读全文
摘要：
堆：实质是一颗完全二叉树，最大堆的特点：父节点值均大于子节点；最小堆的父节点值均小于子节点；一般使用连续内存存储堆内的值，因而可以根据当前节点的索引值推断子节点的索引值：节点i的父节点为(i-1)/2；节点j的左子结点：j * 2 + 1;节点j的右子结点：j * 2 + 2;以下代码实现了最大堆最... 阅读全文
摘要：
1. 数据类型：通过SQLGetTypeInfo函数来获取ODBC 3.0支持的数据类型信息。由SQLGetTypeInfo返回的数据类型是数据源所支持的数据类型。SQLRETURN SQLGetTypeInfo( SQLHSTMT StatementHandle, SQL... 阅读全文
摘要：
二分搜索，也称二分查找、折半搜索，是一种在有序数组中查找特定元素的搜索算法。搜索从数组的中间元素开始，如果中间元素刚好是要查找的元素，则搜索结束，如果要查找的特定元素大于（小于）中间元素，则在数组大于（小于）中间元素的一半中查找。该算法的递归实现比较容易理解，思路更清晰，但效率方面仍有提高的空间。代... 阅读全文
摘要：
1. 用户态和内核态的概念区别究竟什么是用户态，什么是内核态，这两个基本概念以前一直理解得不是很清楚，根本原因个人觉得是在于因为大部分时候我们在写程序时关注的重点和着眼的角度放在了实现的功能和代码的逻辑性上，先看一个例子：1）例子C代码voidtestfork(){if(0==fork()){pri... 阅读全文
该文被密码保护。 阅读全文
摘要：
public继承从根本上讲，有两部分：接口继承和实现继承。两者之前的区别很像函数声明与函数定义。具体设计中，会呈现三种形式：derived class只继承成员函数的接口（纯虚函数）；derived class同时继承函数的接口和实现，同时能够重写（override）；derived class同时... 阅读全文