摘要：
Blog List Spark " Spark官方文档 中文翻译 " "Spark快速入门 Spark 1.6.0" " Spark SQL 官方文档 中文翻译 " "Spark SQL 之 Migration Guide" "Spark SQL 之 Performance Tuning & Dis 阅读全文
2019年5月14日
摘要：
DeepOrigin: End to End Deep Learning for Detection of New Malware Families 标签（空格分隔）： 论文 论文基本信息 会议： IEEE（2018 International Joint Conference on Neural 阅读全文
2019年1月18日
摘要：
【论文笔记】Malware Detection with Deep Neural Network Using Process Behavior 论文基本信息 会议： IEEE（2016 IEEE 40th Annual Computer Software and Applications Confe 阅读全文
2017年2月22日
摘要：
Scala入门 【1】 转载请注明出处： "http://www.cnblogs.com/BYRans/" 1 基础 val定义的为常量，var为变量 val name:Type = ，变量名后加冒号，然后定义变量类型 Scala有7种 数值类型 ：Byte、Char、Short、Int、Long、 阅读全文
2016年11月25日
摘要：
RocketMQ与Kafka对比（18项差异） 原文链接： "https://github.com/alibaba/RocketMQ/blob/master/wiki/kafka_partitions_problem.md" 淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用Mysq 阅读全文
2016年11月11日
摘要：
Kafka简介 转载请注明出处： "http://www.cnblogs.com/BYRans/" Apache Kafka发源于LinkedIn，于2011年成为Apache的孵化项目，随后于2012年成为Apache的主要项目之一。Kafka使用Scala和Java进行编写。Apache Kaf 阅读全文
2016年10月10日
摘要：
Spark存储管理（读书笔记） 转载请注明出处： "http://www.cnblogs.com/BYRans/" Spark的存储管理 RDD的存放和管理都是由Spark的存储管理模块实现和管理的。本文从架构和功能两个角度对Spark的存储管理模块进行介绍。 架构角度 从架构角度，存储管理模块主要 阅读全文
2016年10月9日
摘要：
Spark调度管理（读书笔记） 转载请注明出处： "http://www.cnblogs.com/BYRans/" Spark调度管理 本文主要介绍在单个任务内Spark的调度管理，Spark调度相关概念如下： Task（任务）：单个分区数据及上的最小处理流程单元。 TaskSet（任务集）：由一组 阅读全文
2016年9月20日
摘要：
Spark基本工作流程及YARN cluster模式原理 转载请注明出处： "http://www.cnblogs.com/BYRans/" Spark基本工作流程 相关术语解释 Spark应用程序相关的几个术语： Worker：集群中任何可以运行Application代码的节点，类似于YARN中的 阅读全文
2016年6月7日
摘要：
YARN资源调度器 转载请注明出处： "http://www.cnblogs.com/BYRans/" 概述 集群资源是非常有限的，在多用户、多任务环境下，需要有一个协调者，来保证在有限资源或业务约束下有序调度任务，YARN资源调度器就是这个协调者。 YARN调度器有多种实现，自带的调度器为Capa 阅读全文
2016年5月24日
摘要：
HDFS Federation (读书笔记) HDFS的架构 HDFS包含两个层次： 命名空间管理 （Namespace） 和 块/存储管理 （Block Storage）。 命名空间管理（Namespace） HDFS的命名空间包含目录、文件和块。命名空间管理是指命名空间支持对HDFS中的目录、文 阅读全文
2016年5月21日
摘要：
YARN基本框架介绍 转载请注明出处： "http://www.cnblogs.com/BYRans/" 在之前的博客《 "YARN与MRv1的对比" 》中介绍了YARN对Hadoop 1.0的完善。本文将重点介绍下YARN各个模块的作用与YARN运行流程。 YARN模块介绍 概述 YARN是一个资 阅读全文
2016年5月19日
摘要：
YARN与MRv1的对比 转载请注明出处： "http://www.cnblogs.com/BYRans/" Hadoop 1.0存在的问题 由于Hadoop 1.0的良好特性，Hadoop 1.0被应用到了各行各业。但是Hadoop的最初设计是为了用于搜索引擎业务（如Yahoo、Google等公司 阅读全文
2016年4月25日
摘要：
Linux下部署FTP服务器 下载安装包 在这里介绍的是离线部署FTP，首先下载对应的rpm包，下载链接为： "下载vsftpd服务" ) "下载FTP客户端" 安装ftp服务器 关闭防火墙 关闭selinux 查看是否安装vsftp 如果出现vsftpd x.x.x xx.el5，说明已经安装 v 阅读全文
2016年3月18日
摘要：
Spark官方文档 中文翻译 转载请注明出处： "http://www.cnblogs.com/BYRans/" "1 概述(Overview)" "2 引入Spark(Linking with Spark)" "3 初始化Spark(Initializing Spark)" "3.1 使用Spar 阅读全文
