摘要: Sub Null_Rate() Dim xlApp As Excel.ApplicationDim xlBook As Excel.WorkbookDim xlSheet As Excel.Worksheet Dim line As IntegerDim col As IntegerDim line 阅读全文
posted @ 2018-12-14 16:51 JackSun924 阅读(367) 评论(0) 推荐(0) 编辑
摘要: 安装基于CentOS 7 安装,系统非最小化安装,选择部分Server 服务,开发工具组。全程使用root用户,因为操作系统的权限、安全,在启动时会和使用其它用户有差别。Step 1:下载hadoop.apache.org 选择推荐的下载镜像结点; https://hadoop.apache.org 阅读全文
posted @ 2018-12-13 17:40 JackSun924 阅读(313) 评论(0) 推荐(0) 编辑
摘要: [root@master hadoop-3.1.1]# hdfs Usage: hdfs [OPTIONS] SUBCOMMAND [SUBCOMMAND OPTIONS] OPTIONS is none or any of: --buildpaths attempt to add class fi 阅读全文
posted @ 2018-12-07 16:24 JackSun924 阅读(551) 评论(0) 推荐(0) 编辑
摘要: Failed redirect for container_1544160578687_0003_01_000001ResourceManager RM Home NodeManagerTools Failed while trying to construct the redirect url t 阅读全文
posted @ 2018-12-07 15:18 JackSun924 阅读(942) 评论(0) 推荐(0) 编辑
摘要: yarn支持可扩展资源类型 所有节点、应用程序、队列,默认情况下Yarn使用 CPU和内存。资源定义可以扩展为任意的“countable”资源。一个countable 资源,container运行的时候,将会被暂用,完毕后将会释放。 yarn支持可扩展资源类型 所有节点、应用程序、队列,默认情况下Y 阅读全文
posted @ 2018-12-07 14:43 JackSun924 阅读(2521) 评论(0) 推荐(0) 编辑
摘要: [root@master hadoop-3.1.1]# bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar An example program must be given as the first argu 阅读全文
posted @ 2018-12-07 14:12 JackSun924 阅读(2250) 评论(0) 推荐(0) 编辑
摘要: [root@master hadoop-3.1.1]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar An example program must be given as the first ar 阅读全文
posted @ 2018-12-07 13:50 JackSun924 阅读(2650) 评论(0) 推荐(1) 编辑
摘要: 安装 基于CentOS 7 安装,系统非最小化安装,选择部分Server 服务,开发工具组。全程使用root用户,因为操作系统的权限、安全,在启动时会和使用其它用户有差别。Step 1:下载hadoop.apache.org选择推荐的下载镜像结点;https://hadoop.apache.org/ 阅读全文
posted @ 2018-12-07 13:42 JackSun924 阅读(1623) 评论(0) 推荐(0) 编辑
摘要: Spark安装 Spark2.1.0完全分布式环境搭建:MASTER节点:1.下载文件:wget -O "spark.tgz" "http://d3kbcqa49mib13.cloudfront.net/spark.tgz"2.解压并移动至相应的文件夹;tar -xvf spark.tgzmv sp 阅读全文
posted @ 2018-12-07 13:41 JackSun924 阅读(2389) 评论(0) 推荐(0) 编辑
摘要: 解释narrow transformation和wide transformation的区别掌握map flatmap filter coalesce列举两种wide transformation列举Spark pipeline中的4种常见actionTransformationsnarrow tr 阅读全文
posted @ 2018-12-07 13:39 JackSun924 阅读(335) 评论(0) 推荐(0) 编辑