chaplinthink

摘要： Spark Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同 阅读全文

摘要： Flink程序遵循一定的编程模式。DataStream API 和 DataSet API 基本具有相同的程序结构。以下为一个流式程序的示例代码来对文本文件进行词频统计。 整个Flink 程序一共分为5步: 1. Flink执行环境 不同的执行环境决定了应用的类型: StreamExecutionE 阅读全文

摘要： 项目模板 Flink应用项目可以使用Maven或SBT来构建项目，Flink针对这些构建工具提供了相应项目模板。 Maven模板命令如下，我们只需要根据提示输入应用项目的groupId、artifactId、version和package路径即可。 目录结构和我们使用IDEA创建的目录结构基本一样， 阅读全文

摘要： 关键技术 特征: 比如鸟的体重、后背颜色等成为特征 机器学习的主要任务是分类 训练集: 用于训练机器学习算法的样本集合 目标变量: 机器学习算法的预测结果 机器学习算法通常都有两个独立的样本集: 训练数据和测试数据 主要任务 监督学习: 这类算法知道要预测什么,即目标变量的分类信息，比如回归和分类 阅读全文

摘要： 之前有看过kafka源码,有很多implict声明的方法,当时看的一头雾水,今天趁着空闲,了解下scala 的隐式转换和柯理化相关语法知识. 隐式转换 需要类中的一个方法，但是这个类没有提供这样的一个方法，所以我们需要隐式转换，转换成提供了这个方法的类，然后再调用这个方法 整体流程看下图: 隐式参数 阅读全文

摘要： 在寒假前，完成了Zookeeper系列的前5篇文章，主要是分布式的相关理论，包括CAP，BASE理论，分布式数据一致性算法：2PC，3PC，Paxos算法，Zookeeper的相关基本特性，ZAB协议。今天，完成Zookeeper系列的最后一篇也是最为重要的内容：Zookeeper的典型应用场景的介 阅读全文

摘要： 本文主要介绍了线程的性能问题，死锁问题以及如何使用jconsole 查看线程是否发生死锁，线程的饥饿与公平，线程安全性问题：从字节码角度来分析线程安全性问题、如何解决线程安全的问题以及在什么情况下会出现线程安全性问题。 阅读全文

摘要： 线程的状态 初始化—就绪—运行—终止 Sleep : 超时等待,过了一段时间就会进入就绪状态进行竞争cpu资源。 Wait: 等待状态，没有通过notify 或者 notifyAll 唤醒，就会一直进行等待。 Block: block io 或者 遇到加锁的代码时， 接受到数据或者获取到锁就会到运行 阅读全文

摘要： 一、系统整体性能监测工具：uptime uptime命令用于查看服务器运行了多长时间以及有多少个用户登录，快速获知服务器运行的负载情况。 load average，显示了最近1，5，15分钟的负荷情况。 它的值代表等待CPU处理的进程数，如果CPU没有时间处理这些进程，load average值会升 阅读全文

摘要： 应用从Kafka中读取数据需要使用KafkaConsumer订阅主题，然后接收这些主题的消息。在我们深入这些API之前，先来看下几个比较重要的概念。 Kafka消费者相关的概念 消费者与消费组 假设这么个场景：我们从Kafka中读取消息，并且进行检查，最后产生结果数据。我们可以创建一个消费者实例去做 阅读全文