herman很慢

利用EXCEL函数LINEST进行统计学中的回归分析

摘要：介绍统计学中的一元和多元线性回归，并通过EXCEL自带的统计函数LINEST、INDEX进行手工计算，再通过EXCEL数据分析工具包进行自动计算。由于很多复杂的EXCEL自动化程序，需要用到自动化计算，EXCEL数据分析工具并不适用自动计算，反而EXCEL统计函数是很容易实现批量自动计算。所以本阅读全文

posted @ 2020-08-03 19:55 herman很慢阅读(3025) 评论(0) 推荐(0)

Windows 10 64 Bit 编译安装 PyLucene 8.3.0

摘要：先上原文连接：https://www.cnblogs.com/xqnq2007/p/7219803.html 本文根据此文章以及官方文档：https://lucene.apache.org/pylucene/features.html 成功完成了pyluence的编译。这可能是互联网上第一篇详细阅读全文

posted @ 2020-07-22 16:42 herman很慢阅读(1378) 评论(0) 推荐(0)

Spark中groupByKey和reduceByKey的区别

摘要：重点比较reduceByKey和groupByKey:相同点：1,都作用于 RDD[K,V]2，都是根据key来分组聚合3，默认，分区的数量都是不变的，但是都可以通过参数来指定分区数量不同点：1， groupByKey默认没有聚合函数，得到的返回值类型是RDD[ k,Iterable[V]]2，阅读全文

posted @ 2020-03-25 08:51 herman很慢阅读(729) 评论(0) 推荐(0)

创作共用许可协议

摘要：创作共用许可协议（英语：Creative Commons license，简称CC许可）是一种公共版权许可协议，其允许分发受版权保护的作品。一个创作共用许可，用于一个作者想给他人分享、使用、甚至创作派生作品的权利。创作共用提供给作者灵活性（例如，他们可以选择允许非商业用途使用他们的作品），保护阅读全文

posted @ 2019-11-20 09:25 herman很慢阅读(366) 评论(0) 推荐(0)

spark的task调度器(FAIR公平调度算法)

摘要： FAIR 调度策略的树结构如下图所示： FAIR 调度策略内存结构 FAIR 模式中有一个 rootPool 和多个子 Pool，各个子 Pool 中存储着所有待分配的 TaskSetMagager 。在 FAIR 模式中，需要先对子 Pool 进行排序，再对子 P 阅读全文

posted @ 2019-11-04 14:41 herman很慢阅读(1195) 评论(0) 推荐(0)

NameNode & Secondary NameNode工作机制

摘要： 1）工作流程 2) fsimage和edits NameNode是HDFS的大脑,它维护着整个文件系统的目录树,以及目录树里所有的文件和目录,这些信息以俩种文件存储在文件系统:一种是命名空间镜像(也称为文件系统镜像,File System Image,fsimage),即HDFS元数据的完整快照,每阅读全文

posted @ 2019-10-31 19:05 herman很慢阅读(159) 评论(0) 推荐(0)

Yarn简单介绍及内存配置

摘要：本文出自：http://blog.chinaunix.net/uid/28311809/abstract/1.html 在这篇博客中，主要介绍了Yarn对MRv1的改进，以及Yarn简单的内存配置和Yarn的资源抽象container。我么知道MRv1存在的主要问题是：在运行时，JobTracker 阅读全文

posted @ 2019-10-29 09:00 herman很慢阅读(1258) 评论(0) 推荐(0)

centOS 8 安装Hadoop

摘要： 1.安装环境本教程使用 CentOS 8 64位作为系统环境，请自行安装系统。本教程基于原生 Hadoop 2，在 Hadoop 2.8.5 版本下验证通过，可适合任何 Hadoop 2.x.y 版本，例如 Hadoop 2.7.1, Hadoop 2.4.1等。装好了 CentOS 系统之阅读全文

posted @ 2019-10-28 18:56 herman很慢阅读(4744) 评论(2) 推荐(3)

JAVA8 JVM内存结构变了，永久代到元空间

摘要：在文章《JVM之内存结构详解》中我们描述了Java7以前的JVM内存结构，但在Java8和以后版本中JVM的内存结构慢慢发生了变化。作为面试官如果你还不知道，那么面试过程中是不是有些露怯？作为面试者，如果知晓这些变化，又将成为面试中的亮点。如果在网络上搜索JVM内存结构，90%的可能会搜到Java 阅读全文

posted @ 2019-10-23 09:19 herman很慢阅读(295) 评论(0) 推荐(0)

Block pool ID needed, but service not yet registered with NN java.lang.Exception: trace 异常解决

摘要：以上为报错信息：原因大概为：dd和nd关联的versionId不同导致，解决方案，备份之前的current文件夹，让其自己生成新的。阅读全文

posted @ 2019-10-22 19:38 herman很慢阅读(2342) 评论(0) 推荐(0)

导航

公告