BYRans

[置顶] Blog List

摘要： Blog List Spark " Spark官方文档中文翻译 " "Spark快速入门 Spark 1.6.0" " Spark SQL 官方文档中文翻译 " "Spark SQL 之 Migration Guide" "Spark SQL 之 Performance Tuning & Dis 阅读全文

posted @ 2016-02-19 09:45 BYRans 阅读(1156) 评论(0) 推荐(0)

【论文笔记】DeepOrigin: End-to-End Deep Learning for Detection of New Malware Families

摘要： DeepOrigin: End to End Deep Learning for Detection of New Malware Families 标签（空格分隔）：论文论文基本信息会议： IEEE（2018 International Joint Conference on Neural 阅读全文

posted @ 2019-05-14 20:34 BYRans 阅读(603) 评论(0) 推荐(0)

【论文笔记】Malware Detection with Deep Neural Network Using Process Behavior

摘要：【论文笔记】Malware Detection with Deep Neural Network Using Process Behavior 论文基本信息会议： IEEE（2016 IEEE 40th Annual Computer Software and Applications Confe 阅读全文

posted @ 2019-01-18 22:07 BYRans 阅读(1573) 评论(0) 推荐(0)

Scala入门【1】

摘要： Scala入门【1】转载请注明出处： "http://www.cnblogs.com/BYRans/" 1 基础 val定义的为常量，var为变量 val name:Type = ，变量名后加冒号，然后定义变量类型 Scala有7种数值类型：Byte、Char、Short、Int、Long、阅读全文

posted @ 2017-02-22 21:09 BYRans 阅读(3499) 评论(0) 推荐(0)

RocketMQ与Kafka对比（18项差异）

摘要： RocketMQ与Kafka对比（18项差异）原文链接： "https://github.com/alibaba/RocketMQ/blob/master/wiki/kafka_partitions_problem.md" 淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用Mysq 阅读全文

posted @ 2016-11-25 10:41 BYRans 阅读(10117) 评论(1) 推荐(1)

Kafka简介

摘要： Kafka简介转载请注明出处： "http://www.cnblogs.com/BYRans/" Apache Kafka发源于LinkedIn，于2011年成为Apache的孵化项目，随后于2012年成为Apache的主要项目之一。Kafka使用Scala和Java进行编写。Apache Kaf 阅读全文

posted @ 2016-11-11 17:08 BYRans 阅读(21280) 评论(3) 推荐(3)

Spark存储管理（读书笔记）

摘要： Spark存储管理（读书笔记）转载请注明出处： "http://www.cnblogs.com/BYRans/" Spark的存储管理 RDD的存放和管理都是由Spark的存储管理模块实现和管理的。本文从架构和功能两个角度对Spark的存储管理模块进行介绍。架构角度从架构角度，存储管理模块主要阅读全文

posted @ 2016-10-10 14:21 BYRans 阅读(4289) 评论(0) 推荐(2)

Spark调度管理（读书笔记）

摘要： Spark调度管理（读书笔记）转载请注明出处： "http://www.cnblogs.com/BYRans/" Spark调度管理本文主要介绍在单个任务内Spark的调度管理，Spark调度相关概念如下： Task（任务）：单个分区数据及上的最小处理流程单元。 TaskSet（任务集）：由一组阅读全文

posted @ 2016-10-09 21:48 BYRans 阅读(1569) 评论(0) 推荐(0)

Spark基本工作流程及YARN cluster模式原理(读书笔记)

摘要： Spark基本工作流程及YARN cluster模式原理转载请注明出处： "http://www.cnblogs.com/BYRans/" Spark基本工作流程相关术语解释 Spark应用程序相关的几个术语： Worker：集群中任何可以运行Application代码的节点，类似于YARN中的阅读全文

posted @ 2016-09-20 16:34 BYRans 阅读(11782) 评论(0) 推荐(1)

YARN资源调度器

摘要： YARN资源调度器转载请注明出处： "http://www.cnblogs.com/BYRans/" 概述集群资源是非常有限的，在多用户、多任务环境下，需要有一个协调者，来保证在有限资源或业务约束下有序调度任务，YARN资源调度器就是这个协调者。 YARN调度器有多种实现，自带的调度器为Capa 阅读全文

posted @ 2016-06-07 17:19 BYRans 阅读(5042) 评论(0) 推荐(1)

HDFS Federation (读书笔记)

摘要： HDFS Federation (读书笔记) HDFS的架构 HDFS包含两个层次：命名空间管理（Namespace）和块/存储管理（Block Storage）。命名空间管理（Namespace） HDFS的命名空间包含目录、文件和块。命名空间管理是指命名空间支持对HDFS中的目录、文阅读全文

posted @ 2016-05-24 21:04 BYRans 阅读(3721) 评论(0) 推荐(3)

YARN基本框架介绍

摘要： YARN基本框架介绍转载请注明出处： "http://www.cnblogs.com/BYRans/" 在之前的博客《 "YARN与MRv1的对比" 》中介绍了YARN对Hadoop 1.0的完善。本文将重点介绍下YARN各个模块的作用与YARN运行流程。 YARN模块介绍概述 YARN是一个资阅读全文

posted @ 2016-05-21 08:20 BYRans 阅读(11003) 评论(0) 推荐(1)

YARN与MRv1的对比

摘要： YARN与MRv1的对比转载请注明出处： "http://www.cnblogs.com/BYRans/" Hadoop 1.0存在的问题由于Hadoop 1.0的良好特性，Hadoop 1.0被应用到了各行各业。但是Hadoop的最初设计是为了用于搜索引擎业务（如Yahoo、Google等公司阅读全文

posted @ 2016-05-19 17:18 BYRans 阅读(3772) 评论(1) 推荐(2)

Linux下部署FTP服务器

摘要： Linux下部署FTP服务器下载安装包在这里介绍的是离线部署FTP，首先下载对应的rpm包，下载链接为： "下载vsftpd服务" ) "下载FTP客户端" 安装ftp服务器关闭防火墙关闭selinux 查看是否安装vsftp 如果出现vsftpd x.x.x xx.el5，说明已经安装 v 阅读全文

posted @ 2016-04-25 16:13 BYRans 阅读(867) 评论(0) 推荐(0)

Spark官方文档 - 中文翻译

摘要： Spark官方文档中文翻译转载请注明出处： "http://www.cnblogs.com/BYRans/" "1 概述(Overview)" "2 引入Spark(Linking with Spark)" "3 初始化Spark(Initializing Spark)" "3.1 使用Spar 阅读全文

posted @ 2016-03-18 16:59 BYRans 阅读(25740) 评论(3) 推荐(10)

公告

导航

统计