2017年4月24日

Spark学习笔记之-Spark远程调试
摘要： Spark远程调试 本例子介绍简单介绍spark一种远程调试方法，使用的IDE是IntelliJ IDEA。 1、了解jvm一些参数属性 -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888 这里对上面的几个参数进 阅读全文
posted @ 2017-04-24 23:43 ilinux_one 阅读(5517) 评论(0) 推荐(0) 编辑
Spark集群模式&Spark程序提交
摘要： Spark集群模式&Spark程序提交 1. 集群管理器 Spark当前支持三种集群管理方式 Standalone—Spark自带的一种集群管理方式，易于构建集群。 Apache Mesos—通用的集群管理，可以在其上运行Hadoop MapReduce和一些服务应用。 Hadoop YARN—Ha 阅读全文
posted @ 2017-04-24 23:36 ilinux_one 阅读(1396) 评论(0) 推荐(0) 编辑
spark-submit的参数名称解析
摘要： 执行时需要传入的参数说明 Usage: spark-submit [options] <app jar | Python file> [app options] 参数名称 含义 --master MASTER_URL 可以是spark://host:port, mesos://host:port, 阅读全文
posted @ 2017-04-24 23:22 ilinux_one 阅读(268) 评论(0) 推荐(0) 编辑
Scala java maven开发环境搭建
摘要： 基于maven配置的scala开发环境,首先需要安装 idea 的scala plugin.然后就可以使用maven编译scala程序了.一般情况下都是java scala的混合,所以src下面有java scala两个源文件目录. 1 <?xml version="1.0" encoding="U 阅读全文
posted @ 2017-04-24 23:11 ilinux_one 阅读(311) 评论(0) 推荐(0) 编辑
HBase 常用Shell命令
摘要： hbase(main)> whoami hbase(main)> whoami hbase(main)> whoami hbase(main)> whoami hbase(main)> whoami hbase(main)> list hbase(main)> list hbase(main)> l 阅读全文
posted @ 2017-04-24 22:57 ilinux_one 阅读(3662) 评论(0) 推荐(0) 编辑

导航