摘要：
hortonworks的源码在github上能找到！ https://github.com/hortonworks/spark2-release 找到对应版本release源码后下载到本地 在windows可以直接编译，在ubuntu需要安装zinc spark项目使用了hortonworks的私人 阅读全文
2018年6月1日
2018年5月2日
摘要：
由于矩阵通过可逆变换不会改变行列式的非零性，所以通过矩阵变换把原系数矩阵变换为倒三角形式，例如A1: 变换后A2： 这个变换不会影响行列式非零性，然后通过行列式公式算的det(A2) = x1*y1*z1,也就是说倒三角矩阵的行列式等于对角线元素的乘积。 所以如果行列式等于0，那么必然z1等于0，那 阅读全文
2018年4月25日
摘要：
(uv)' = [(u+△u)(v+△v) - uv] /△x = (v△u+u△v +△u△v)/△x = v(△u/△x) + u(△v/△x) +(△u△v)/△x =u'v+uv' 阅读全文
2018年3月26日
摘要：
今日在windows上用spark写hbase的函数 saveAsHadoopDataset 写hbase数据库的时候，遇到Will not attempt to authenticate using SASL (unknown error) 错误，程序卡在那里不动了，百度后发现是我的windows 阅读全文
摘要：
今天在使用spark存储hbase的时候遇到异常Exception in thread "main" java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric()Lio/netty/buffer/Pooled 阅读全文
2018年3月16日
摘要：
配置好hadoop的环境，具体根据http://blog.csdn.net/u010638969/article/details/51283216博客所写的进行配置。 运行start-dfs.sh启动hdfs集群，成功后运行jps应该有NameNode,DataNode,SecondaryNameN 阅读全文
2018年3月5日
摘要：
这段代码中的test()函数是有重载的，且以高阶函数为参数。当我们调用的时候必须指明高阶函数的参数类型。 第6行是正确的，可以编译通过，但是第7行被注释的代码是不能编译通过的，也就是说这里类型推断失效了。经过测试发现，当有重载函数，且参数个数相同，且高阶函数所处的位置一样时，这时高阶函数类型推断会失 阅读全文
2018年3月2日
摘要：
为了让大家理解structured stream的运行流程，我将根据一个代码例子，讲述structured stream的基本运行流程和原理。 下面是一段简单的代码: 这段代码就是单词计数。先从一个socket数据源读入数据，然后以" " 为分隔符把一行文本转换成单词的DataSet，然后转换成有标 阅读全文
2018年2月26日
摘要：
文是超简单的spark yarn配置教程: yarn是hadoop的一个子项目，目的是用于管理分布式计算资源，在yarn上面搭建spark集群需要配置好hadoop和spark。我在搭建集群的时候有3台虚拟机，都是centos系统的。下面就开始一步一步地进行集群搭建。 一、配置hosts文件 hos 阅读全文
2018年2月24日
摘要：
一、配置/etc/profile: 文件尾部增加以下内容: 二、配置spark环境变量 在spark的conf文件夹中复制 spark-env.sh.template生成 spark-env.sh文件,在尾部添加如下代码: 第三行的变量指定的是master的IP，我的机器上面worker节点不能直接 阅读全文
