fcyh

2017年10月25日

摘要： SecureCRT的安装与破解（过程很详细！！！）使用SecureCRT可以方便用户在windows环境下对linux主机进行管理，这里为大家讲一下SecureCRT的破解方法，仅供大家参考学习： 1.首先在本站下载SecureCRT 7.3.6最新版。软件分为32位和64位程序，选择系统对应的版阅读全文

posted @ 2017-10-25 16:53 fcyh 阅读(483946) 评论(31) 推荐(15) 编辑

JProfiler远程监控Linux上Tomcat的安装过程细讲（步骤非常详细！！！）

摘要： JProfiler远程监控Linux上Tomcat的安装过程细讲（步骤非常详细！！！） 1.文件准备: 服务器：CentOS Linux release 7.3.1611 (Core) Apache Tomcat/7.0.81，Oracle JDK Java1.7.0_79 jprofiler_li 阅读全文

posted @ 2017-10-25 10:58 fcyh 阅读(4859) 评论(0) 推荐(0) 编辑

2017年10月23日

FileChannel类的理解和使用

摘要： FileChannel类的理解和使用（java.nio.channels.FileChannel）知识点： 1、FileChannel类及方法理解；2、普通输入输出流复制文件；3、FileChannel复制文件；4、新名词记录：{MappedByteBuffer：文件映射在内存的直接换成字节数据；阅读全文

posted @ 2017-10-23 16:55 fcyh 阅读(4153) 评论(0) 推荐(0) 编辑

2017年10月19日

Lifetime-Based Memory Management for Distributed Data Processing Systems

摘要： Lifetime-Based Memory Management for Distributed Data Processing Systems （Deca：Decompose and Analyze）一、分布式数据处理系统像Spark、FLink中的优缺点： 1、优点： in-memory中可以阅读全文

posted @ 2017-10-19 19:30 fcyh 阅读(613) 评论(0) 推荐(0) 编辑

2017年10月17日

Spark的核心RDD（Resilient Distributed Datasets弹性分布式数据集）

摘要： Spark的核心RDD（Resilient Distributed Datasets弹性分布式数据集）铺垫主角首先我们来思考一个问题吧：Spark的计算模型是如何做到并行的呢？如果你有一箱香蕉，让三个人拿回家吃完（好吧，我承认我爱吃香蕉，哈哈），如果不拆箱子就会很麻烦对吧，哈哈，一个箱子嘛，当阅读全文

posted @ 2017-10-17 14:44 fcyh 阅读(2876) 评论(0) 推荐(1) 编辑

Hadoop与Spark之间的比较

摘要： Hadoop与Spark之间的比较 Hadoop框架的主要模块包括如下： Hadoop Common Hadoop分布式文件系统(HDFS) Hadoop YARN Hadoop MapReduce 虽然上述四个模块构成了Hadoop的核心，不过还有其他几个模块。这些模块包括：Ambari、Avro 阅读全文

posted @ 2017-10-17 14:37 fcyh 阅读(24549) 评论(0) 推荐(2) 编辑

2017年10月13日

Spark内存管理之钨丝计划

摘要： Spark内存管理之钨丝计划 1. 钨丝计划的产生的原因 2. 钨丝计划内幕详解一：“钨丝计划”产生的本质原因 1， Spark作为一个一体化多元化的（大）数据处理通用平台，性能一直是其根本性的追求之一，Spark基于内存迭代（部分基于磁盘迭代）的模型极大的满足了人们对分布式系统处理性能的渴望，但阅读全文

posted @ 2017-10-13 17:54 fcyh 阅读(1606) 评论(0) 推荐(0) 编辑

sbt使用详解

摘要： sbt使用详解安装：我的系统为centos6.5故采用官方提供的在线安装： [html] view plain copy curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo sudo mv bintray-sbt-rpm.rep 阅读全文

posted @ 2017-10-13 16:53 fcyh 阅读(5114) 评论(0) 推荐(0) 编辑

Spark SQL讲解

摘要： Spark SQL讲解 Spark SQL是支持在Spark中使用Sql、HiveSql、Scala中的关系型查询表达式。它的核心组件是一个新增的RDD类型SchemaRDD，它把行对象用一个Schema来描述行里面的所有列的数据类型，它就像是关系型数据库里面的一张表。它可以从原有的RDD创建，也可阅读全文

posted @ 2017-10-13 11:41 fcyh 阅读(1315) 评论(0) 推荐(0) 编辑

2017年10月11日

Spark Shuffle原理解析

摘要： Spark Shuffle原理解析一：到底什么是Shuffle？ Shuffle中文翻译为“洗牌”，需要Shuffle的关键性原因是某种具有共同特征的数据需要最终汇聚到一个计算节点上进行计算。二：Shuffle可能面临的问题？运行Task的时候才会产生Shuffle（Shuffle已经融化在Sp 阅读全文

posted @ 2017-10-11 14:11 fcyh 阅读(560) 评论(0) 推荐(0) 编辑

人一定要靠自己！！！

公告