摘要：
知识点： 1、-rwx--x--x (711) 只有所有者才有读，写，执行的权限，组群和其他人只有执行的权限 2、将root用户添加到supergroup用户组 groupadd supergroup //增加用户组usermod -a -G supergroup root //将roo用户增加在s 阅读全文
摘要：
从业务的角度看，一个应用需要分两部分进行开发，一个是接入YARN平台，实现3个协议，通过YARN实现对集群资源的访问和利用；另一个是业务功能的实现，这个与YARN本身没有太大关系。下面主要阐述如何将一个应用接入YARN平台。 YARN开发流程包括Client和ApplicationMaster的开发 阅读全文
摘要：
1. ResourceManager（RM） RM是一个全局的资源管理器，负责整个系统的资源管理和分配。它主要由两个组件构成：调度器（Scheduler）和应用程序管理器（Applications Manager，ASM）。 调度器 调 度器根据容量、队列等限制条件（如每个队列分配一定的资源，最多执 阅读全文
摘要：
今天在部署程序的时候，监控日志发现这个问题了。return的问题就这么总结哈。 在软件开发过程中，逻辑清晰是非常之重要的。 代码的规范也是非常重要的。往往细节决定成败。在编写代码的时候，一定要理解语言的作用以及使用的方法和场景。下面来介绍一下break、continue、return三者的区别和联系 阅读全文
摘要：
总结最近用到的kafka相关命令和脚本。 1、创建Topic./kafka-topics.sh --zookeeper cc13-141:2182 --topic mytopic --replication-factor 1 --partitions 1 --create 2、Topic列表./ka 阅读全文
摘要：
1、求值策略scala里有两种求值策略Call By Value -先对函数实参求值，在函数体中用这个求出的参数值。Call By Name -先不对函数实参求值，而是函数实参每次在函数体内被用到时都会求值。scala通常使用Call By Value 如果函数形参类型以 =>开头，那么就是在使用C 阅读全文
摘要：
最近接触到spark，spark又是scala编写的，所以需要学习一下scala。 scala是面向对象的，一切皆为对象， 数值，函数都是对象。 println("Welcome to the Scala") /就这样进入scala学习模式了。。。。 1、变量 val x=10;自动转换类型为Int 阅读全文
摘要：
简单的说，视图是按照你的sql语句生成的一个虚拟的东西，本身并不占数据库空间。譬如有这个表create table table_a (id int,name varchar(10))然后有这么一个视图create view view_a as select id from table_a当你表里的数 阅读全文
摘要：
1、show tables --查看所有表 2、desc tabname --查看表信息 3、dfs -ls 目录 查看hdfs上面的文件 dfs -lsr /user 递归显示目录/user下面的目录文件 4、！linux命令 使用linux命令。 5、source /root/my.sql 执行 阅读全文
摘要：
1. 预估执行计划 - Explain PlanExplain plan以SQL语句作为输入，得到这条SQL语句的执行计划，并将执行计划输出存储到计划表中。 首先，在你要执行的SQL语句前加explain plan for，此时将生成的执行计划存储到计划表中，语句如下：explain plan fo 阅读全文