摘要：
一.经验 1.Spark Streaming包含三种计算模式：nonstate .stateful .window 2.kafka可通过配置文件使用自带的zookeeper集群 3.Spark一切操作归根结底是对RDD的操作 4.部署Spark任务，不用拷贝整个架包，只需拷贝被修改的文件，然后在目标 阅读全文
摘要：
cron 作业中运行 ntpdate，以便大约每隔一小时就设置一次本地时间。最近，我每次运行该命令时都会收到下列错误消息。 ntpdate[31915]: the NTP socket is in use, exiting 什么正在使用 Socket? 是不是太忙了? 配置信息 解决方法 您收到此错 阅读全文
摘要：
1.将方法调用同方法主体关联起来被称为 2.编译期绑定（静态）是在程序编译阶段就确定了引用对象的类型 3.运行期绑定（动态绑定）是指在执行期间判断所引用对象的实际类型，根据其实际的类型调用其相应的方法 4.除了static方法和final方法（private方法属于final方法），其他所有方法都是 阅读全文
摘要：
package com.zjl.tool.sort; /** * 求前面的最大K个 解决方案：小根堆 (数据量比较大（特别是大到内存不可以容纳）时，偏向于采用堆) * @author 张恩备 * @date 2016-11-25 下午12:15:36 */ public class TopNByHeap { /** * 待排序列（R1，R2，...，Rk,...Rn）... 阅读全文
摘要：
1.将待排序列以一个完全二叉树存储，设二叉树的深度为h，除第 h 层外，其它各层 (1～h-1) 的结点数都达到最大个数，第h层所有的结点都连续集中在最左边，这就是完全二叉树。 2.第一趟排序，从二叉树的最后一个根节点（有步骤1可知是值为12的节点）开始，调整当前节点所在的堆，使当前节点大于所有子节 阅读全文
摘要：
1、确认mysql是否已安装，有下面的代码可知 2、卸载已安装的mysql，建议使用yum命令，因为yum命令可以自动删除与mysql相关的依赖；如果使用rpm命令，则还需要手动去删除和mysql相关的文件，比较麻烦 3、用whereis命令查找mysql相关的文件，因为步骤2用yum来卸载，所以m 阅读全文
摘要：
HDFS是Hadoop应用程序使用的主要分布式存储。HDFS集群主要由管理文件系统元数据的NameNode和存储实际数据的DataNodes组成，HDFS架构图描述了NameNode，DataNode和客户端之间的基本交互。客户端联系NameNode进行文件元数据或文件修改，并直接使用DataNod 阅读全文
摘要：
使用linux虚拟机时，通常会用到yum命令来安装软件，然而这个命令需要连外网下载软件，用maven下载jar包也需要外网。虚拟机在内网可以互相ping通，然而ping不了外网，于是通过试验，终于找到了解决方案： 1.在物理机的cmd命令行中，使用ipconfig命令，查看IP配置，由图可知，物理机 阅读全文
摘要：
所谓公钥登录，就是用户将自己的公钥储存在远程主机上。登录的时候远程主机回向用户发送一段随机字符串，用户用自己的秘钥加密后再发送给远程主机。远程主机用事先储存的公钥进行解密，如果成功，就证明用户是可信的，直接允许登录shell，不再要求密码。 阅读全文