摘要:
Yarn环境搭建(基于hadoop-2.6.0-cdh5.7.0 伪分布) 1)配置文件 etc/hadoop/mapred-site.xml: etc/hadoop/yarn-site.xml: 2)启动yarn相关进程 3)验证 (1):jps [hadoop@hadoop01 sbin]$ j 阅读全文
摘要:
工作中遇到要根据文件中某个字段分割成多行文本的处理,想到用awk处理,这里记录下: 问题: 原文件:假设一共2个字段,用“|”分割,其中第二个字段用“#”分割,但该字段中也有不含“#”的值和空值 要求:根据第二个字段,若含#,将这条数据根据#分割成多条数据,无#和无值的行不变 用awk解决: 1、将 阅读全文
摘要:
Linux服务器相关性能的命令 一、查看服务器性能信息的相关命令 1、cpu信息查看 cpu分为物理cpu和逻辑cpu 物理cpu:实际物理服务器插槽上cpu的个数,可以通过physical id不重复的个数来统计: 逻辑cpu:现在通常一个cpu都是多核心的,加上intel的超线程技术(HT), 阅读全文
摘要:
awk:报告生成器,适合文本处理,格式化后显示。通常awk是是以文件的一行为单位来处理的。 一、使用语法:awk [options] 'BEGAN{} /PATTERN/ { action } END{}' file1,file2................................... 阅读全文