摘要：一、概要 Java I/O主要包括如下几个层次，包含三个部分： 流式部分――IO的主体部分； 非流式部分――主要包含一些辅助流式部分的类，如：File类、RandomAccessFile类和FileDescriptor等类； 其他类--文件读取部分的与安全相关的类，如：SerializablePer
阅读全文
|
|
11 2018 档案
摘要：一、概要 Java I/O主要包括如下几个层次，包含三个部分： 流式部分――IO的主体部分； 非流式部分――主要包含一些辅助流式部分的类，如：File类、RandomAccessFile类和FileDescriptor等类； 其他类--文件读取部分的与安全相关的类，如：SerializablePer
阅读全文
摘要：多线程是实现并发机制的一种有效手段。在 Java 中实现多线程有两种手段，一种是继承 Thread 类，另一种就是实现 Runnable/Callable 接口。 java.util.concurrent 包是专为 Java并发编程而设计的包。类图如下： 一、同步 1.1 synchronized
阅读全文
摘要：1、 crontab命令概念 crontab命令用于设置周期性被执行的指令。该命令从标准输入设备读取指令，并将其存放于“crontab”文件中，以供之后读取和执行。 cron 系统调度进程。 可以使用它在每天的非高峰负荷时间段运行作业，或在一周或一月中的不同时段运行。cron是系统主要的调度进程，可
阅读全文
摘要：1.ZooKeeper是什么？ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户2.ZooKeep
阅读全文
摘要：一、背景 按照年份升序排序，同时每一年中温度降序排序 data文件为1949年-1955年每天的温度数据。 要求：1、计算1949-1955年，每年温度最高的时间 2、计算1949-1955年，每年温度最高的十天 二、二次排序原理 默认情况下，Map 输出的结果会对 Key 进行默认的排序，但是有时
阅读全文
摘要：1、Map任务处理 1.1 读取HDFS中的文件。每一行解析成一个<k,v>。每一个键值对调用一次map函数。 <0,hello you> <10,hello me> 1.2 覆盖map()，接收1.1产生的<k,v>，进行处理，转换为新的<k,v>输出。 <hello,1> <you,1> <he
阅读全文
摘要：一、概述 Apache Spark 是一个快速的, 多用途的集群计算系统。 它提供了 Java, Scala, Python 和 R 的高级 API，以及一个支持通用的执行图计算的优化过的引擎. 它还支持一组丰富的高级工具, 包括使用 SQL 处理结构化数据处理的 Spark SQL, 用于机器学习
阅读全文
|
