RICH-ATONE

摘要： 基于集合 fromCollection(Seq)-从Java Java.util.Collection创建数据流。集合中的所有元素必须具有相同的类型。 fromCollection(Iterator)-从迭代器创建数据流。该类指定迭代器返回的元素的数据类型。 fromElements(element 阅读全文

摘要： 示例： #!/bin/bash start_sec=`date -d "$1" "+%s"` end_sec=`date -d "$2" "+%s"` for((i=start_sec;i<=end_sec;i+=86400)); do day=$(date -d "@$i" "+%Y%m%d") 阅读全文

摘要： java中普通类继承，抽象类继承，接口类继承，子类一定要重写父类中的方法吗 简单总结，需要重写的有： 普通类继承抽象类，重写所有抽象类方法；（不包括普通方法） 普通类继承接口，重写所有接口方法。（不包括default关键字修饰的方法） 详解见下： 1. 普通类继承，并非一定要重写父类方法。 2. 抽 阅读全文

摘要： scala中 object 和 class的区别： object 在scala中没有静态方法和静态字段，所以在scala中可以用object来实现这些功能，直接用对象名调用的方法都是采用这种实现方式，例如Array.toString。对象的构造器在第一次使用的时候会被调用，如果一个对象从未被使用，那 阅读全文

摘要： 参考： https://twitter.github.io/scala_school/zh_cn/basics2.html https://blog.csdn.net/bitcarmanlee/article/details/76736252 阅读全文

摘要： Scala中的样例类详解： 样例类Case Class Case Class一般被翻译成样例类，它是一种特殊的类，能够被优化以用于模式匹配。 当一个类被声名为case class的时候，scala会帮助我们做下面几件事情： 1、构造器中的参数如果不被声明为var的话，它默认的是val类型的，但一般不 阅读全文

摘要： Scala 中下划线的一些魔法 阅读全文

摘要： HDFS参数调优参考 在hdfs-site.xml里面配置： (1)dfs.namenode.handler.count=20 * log2(Cluster Size)，比如集群规模为8台时，此参数设置为60 NameNode有一个工作线程池，用来处理不同DataNode的并发心跳以及客户端并发的元 阅读全文

摘要： 当使用Flume遇到内存溢出等异常时，可参照以下调整你的jvm参数即可. 可用 ps -aux | grep flume查看Flume进程使用了多少内存. 一、 vi bin/flume-ng 修改JAVA_OPTS="-Xmx20m" (默认为20m) 这段是head的最大值 (涉及jvm知识请自 阅读全文

摘要： R的意思是递归的对目录下的所有文件（包括子目录）进行 grep。 比如 grep -R main src就会搜索src目录下所有文件中是否包含 main 这个字符串。 因此grep -R "main" *.c 中的 -R 是没有意义的，因为你输入参数是 *.c 而不是目录名字。 参考： https: 阅读全文