Sun's Blog-专注于阅读

摘要： 1.return可以省略，Scala会使用函数体的最后一行代码作为返回值 2.如果函数体只有一行代码，可以省略花括号 3.返回值类型如果能够推断出来，那么可以省略（:和返回值类型一起省略） 4.如果有return，则不能省略返回值类型，必须指定 5.如果函数明确声明unit，那么即使函数体中使用re 阅读全文

摘要： @ 这个问题可以扩展到很多相似的问题：连续几个月充值会员、连续天数有商品卖出、连续打车、连续逾期…… 数据提供 用户ID、登入日期 user01,2018-02-28 user01,2018-03-01 user01,2018-03-02 user01,2018-03-04 user01,2018- 阅读全文

摘要： 群起包括： 第一步启动exec 此时这列的值为0，下一步激活后变成1 第二步激活exec 第三步打开web页面 脚本代码（注意修改自己的主机名和安装路径） #!/bin/bash start-web(){ for i in hadoop102; do ssh $i "cd /opt/module/a 阅读全文

摘要： 两种方式，分别查询数据有多少行： hive (gmall)> select * from ods_log; Time taken: 0.706 seconds, Fetched: 2955 row(s) hive (gmall)> select count(*) from ods_log; 2959 阅读全文

摘要： 众所周知，csv文件默认以逗号“,”分割数据，那么在scala命令行里查询的数据： 可以看见，字段里就包含了逗号“,”，那接下来切割的时候，这本应该作为一个整体的字段会以逗号“,”为界限进行切割为多个字段。 现在来看看这里的_c0字段一共有多少行记录。 记住这个数字：60351行 写scala代码读 阅读全文

摘要： @ 发现问题 在浏览器输入secondaryNamenode的网址后不能显示，解决： 先按F12，然后选择console，就能看见报错信息了： 解决问题 找到根源 那就通过find命令找到这个dfs-dust.js文件： 根治问题 vim编辑器进入后，在命令模式输入 :se nu 设置行号，找到61 阅读全文

摘要： 别看其他文章了，你就是防火墙没关！不信试试看你的防火墙状态是不是running？ firewall-cmd --state 再送上关闭防火墙的命令： systemctl stop firewalld 防火墙开机自启动： systemctl enable firewalld.service 阅读全文

摘要： @ 一、 Centos6和Centos7 防火墙命令的区别 Centos6自带的防火墙工具是iptables Centos7自带的防火墙工具是firewall iptables 用于过滤数据包，属于网络层防火墙。 firewall 能够允许哪些服务可用，哪些端口可用，属于更高一层的防火墙。 ipta 阅读全文

摘要： @ Kafka压测 用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈==（CPU，内存，网络IO）。一般都是网络IO达到瓶颈。 == 使用下面两个kafka自带的脚本 kafka-consumer-perf-test.sh kafka-producer 阅读全文

摘要： 通常控制台在执行某个jar包时，屏幕会刷个不停，直到程序执行完毕，类似这种： 那么就可以编写一个脚本，把输出的内容全部扔进“黑洞”。此脚本模拟在hadoop102和hadoop103两台主机上循环执行jar文件： #!/bin/bash for i in hadoop102 hadoop103 do 阅读全文