写出高级BUG

2019年4月10日

摘要：在安装好Azkaban后，熟悉Azkaban的用法花了较长时间，也踩了一些坑，接下来将详细描述Azkaban的使用过程。目录一、界面介绍二、Projects 1. 创建Command类型单一Job示例 1）创建一个Project，填写名称和描述 2）点击Create Project之后 3）创阅读全文

posted @ 2019-04-10 21:39 写出高级BUG 阅读(2207) 评论(0) 推荐(1) 编辑

分布式计算（四）Azkaban安装

摘要： Azkaban是一个批量工作流任务调度器，使用Java语言开发。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。目录一、Azkaban优点二、Azkaban安装模式三、Azk 阅读全文

posted @ 2019-04-10 16:46 写出高级BUG 阅读(1281) 评论(0) 推荐(0) 编辑

分布式计算（三）Azkaban介绍

摘要：转载自：Azkaban学习之路（一）Azkaban的基础介绍目录一、为什么需要工作流调度器二、工作流调度实现方式三、常见工作流调度系统四、各种调度工具对比五、Azkaban 与 Oozie 对比 1. 功能 2. 工作流定义 3. 工作流传参 4. 定时执行 5. 资源管理 6. 工作阅读全文

posted @ 2019-04-10 15:30 写出高级BUG 阅读(467) 评论(0) 推荐(0) 编辑

2019年4月9日

分布式计算（二）使用Sqoop实现MySQL与HDFS数据迁移

摘要：近期接触了一个需求，业务背景是需要将关系型数据库的数据传输至HDFS进行计算，计算完成后再将计算结果传输回关系型数据库。听到这个背景，脑海中就蹦出了Sqoop迁移工具，可以非常完美的支持上述场景。当然，数据传输工具还有很多，例如Datax、Kettle等等，大家可以针对自己的工作场景选择适合自己的阅读全文

posted @ 2019-04-09 23:08 写出高级BUG 阅读(1547) 评论(0) 推荐(0) 编辑

MySQL（六）创建用户与授权

摘要：转载自：MySQL创建用户与授权目录一、创建用户二、授权三、设置和更改用户密码四、撤销用户权限五、删除用户一、创建用户命令：说明： username：你将创建的用户名 host：指定该用户在哪个主机上可以登陆，如果是本地用户可用localhost，如果想让该用户可以从任意远程主机登阅读全文

posted @ 2019-04-09 17:46 写出高级BUG 阅读(671) 评论(0) 推荐(0) 编辑

分布式计算（一）Ubuntu搭建Hadoop分布式集群

摘要：最近准备接触分布式计算，学习分布式计算的技术栈和架构知识。目前的分布式计算方式大致分为两种：离线计算和实时计算。在大数据全家桶中，离线计算的优秀工具当属Hadoop和Spark，而实时计算的杰出代表非Flink莫属了。Hadoop算是分布式计算的鼻祖，又是用Java代码实现，我们就以Hadoop作为阅读全文

posted @ 2019-04-09 13:56 写出高级BUG 阅读(1711) 评论(0) 推荐(0) 编辑

2019年4月8日

Linux SSH免密登录

摘要： SSH无密码登录要使用公钥与私钥。Linux可以用ssh-keygen生成公钥/私钥对，下面以Ubuntu为例说明配置过程。有两个节点：node01（172.17.0.14）和node02（172.17.0.17），node01节点想通过ssh免密登录到node02节点。 1. 在node01节点阅读全文

posted @ 2019-04-08 18:28 写出高级BUG 阅读(1002) 评论(0) 推荐(0) 编辑

2018年9月11日

Java并发（一）并发编程的挑战

摘要：目录一、上下文切换 1. 多线程一定快吗 2. 测试上下文切换次数和时长 3. 如何减少上下文切换 4. 减少上下文切换实战二、死锁三、资源限制的挑战四、本章小结并发编程的目的是为了让程序运行得更快，但是，并不是启动更多的线程就能让程序最大限度地并发执行。在进行并发编程时，如果希望通过多线阅读全文

posted @ 2018-09-11 23:16 写出高级BUG 阅读(1132) 评论(0) 推荐(0) 编辑

2018年8月28日

Kafka设计解析（二十三）关于Kafka监控方案的讨论

摘要：转载自 huxihx，原文链接关于Kafka监控方案的讨论目前Kafka监控方案看似很多，然而并没有一个“大而全”的通用解决方案。各家框架也是各有千秋，以下是我了解到的一些内容：一、Kafka manager Github地址： https://github.com/yahoo/kafka-m 阅读全文

posted @ 2018-08-28 23:57 写出高级BUG 阅读(546) 评论(0) 推荐(0) 编辑

Kafka设计解析（二十二）Flink + Kafka 0.11端到端精确一次处理语义的实现

摘要：转载自 huxihx，原文链接【译】Flink + Kafka 0.11端到端精确一次处理语义的实现本文是翻译作品，作者是Piotr Nowojski和Michael Winters。前者是该方案的实现者。原文地址是An Overview of End-to-End Exactly-Once 阅读全文

posted @ 2018-08-28 23:41 写出高级BUG 阅读(1097) 评论(0) 推荐(0) 编辑

公告