2020年5月16日
Docker
摘要： Docker [TOC] 介绍 DevOps = 文化 + 过程 + 工具 虚拟化：为了跨平台、资源（cpu、存储、带宽等）管理和隔离。 虚拟机：运行的程序通常会经过 Hypervisor 的监视来保证与硬件的兼容，在现实出于性能的考虑不会全部都经过 Hypervisor。 容器： 推动容器化的原因 阅读全文
posted @ 2020-05-16 15:39 justcodeit 阅读(257) 评论(0) 推荐(0) 编辑
Flink常见问题总结
摘要： Flink 问题总结 [TOC] 作业运行流程 新增的 operator 会被 transform 封装，例如 map(udf) OneInputTransformation，里面有序列化的 udf和operator配置（名称、uid、并行度等），并记录前一个 transformation 作为输入 阅读全文
posted @ 2020-05-16 15:25 justcodeit 阅读(4133) 评论(0) 推荐(0) 编辑
Java并发编程
摘要： [TOC] 基本概念 线程和进程 概念 操作系统是包含多个进程，进程包含多个线程（至少一个）。 进程：unix环境，运行的程序，是系统资源分配的基本单位，包括文件/网络句柄（共享）、内存（隔离）、用户id等。 线程：cpu的基本调度单位，每个线程执行的都是进程代码的某个片段。包括栈、PC（指向自己代 阅读全文
posted @ 2020-05-16 15:15 justcodeit 阅读(1744) 评论(0) 推荐(0) 编辑
主流大数据技术总结
摘要： 背景 数据量不断增加，企业需要灵活快速地处理这些数据。 处理器主频和散热遇到瓶颈，多核处理器成为主流，并行化计算应用不断增加。 开源软件的成功使得大数据技术得以兴起。 互联网技术的发展让大多数企业能够积累大量的数据，而企业需要灵活快速地从这些数据中提取出有价值的信息来服务用户或帮助企业自身决策。然而 阅读全文
posted @ 2020-05-16 14:51 justcodeit 阅读(3038) 评论(0) 推荐(0) 编辑
2019年3月21日
Flink源码阅读(1.7.2)
摘要： [TOC] Client提交任务 执行模式有：本地、远程Standalone等，下面只介绍yarn模式。 Yarn模式 ： Job模式是每个flink job 单独在yarn上声明一个flink集群 Session模式会在集群中维护flink master，即一个yarn application m 阅读全文
posted @ 2019-03-21 21:49 justcodeit 阅读(4447) 评论(0) 推荐(1) 编辑
2019年3月6日
基于Flink的视频直播案例（下）
摘要： [TOC] 直播数字化运营 业务目标 全站观看直播总人数以及走势 房间直播总人数以及走势 热门直播房间及主播Top10，分类目主播Top10 第二部分的DAG如下，图标不能移动只能将就一下了。 结果写入Elasticsearch 写入Elasticsearch的代码都是一个样式，所以在这里统一放出。 阅读全文
posted @ 2019-03-06 12:21 justcodeit 阅读(1196) 评论(0) 推荐(2) 编辑
基于Flink的视频直播案例（上）
摘要： [TOC] 本案例参考自阿里云的 "视频直播解决方案之视频核心指标监控" 和 "视频直播解决方案之直播数字化运营" 。 基于Kafka + Flink + ELK + Redis实现视频直播数据的实时处理和可视化。 选型仅仅出于练习考虑，Logstash一般会换成flume或者直接用kafka。 模 阅读全文
posted @ 2019-03-06 12:19 justcodeit 阅读(2777) 评论(0) 推荐(0) 编辑
2019年2月27日
基于ELK的传感器数据分析练习
摘要： Sensor Data Analytics Application [TOC] 本案例参考自https://github.com/pranav shukla/learningelasticstack/tree/master/chapter 10 ELK版本为5.6.12 数据构成 下面是sql的三个 阅读全文
posted @ 2019-02-27 16:58 justcodeit 阅读(721) 评论(0) 推荐(0) 编辑
2019年2月26日
ELK Stack总结
摘要： ELK Stack [TOC] 本文基于ELK 6.0，主要针对Elasticsearch和Kibana。 介绍 Elasticsearch is a realtime, distributed search and analytics engine that is horizontally sca 阅读全文
posted @ 2019-02-26 20:04 justcodeit 阅读(563) 评论(0) 推荐(0) 编辑
2019年2月20日
HBase总结
摘要： HBase [TOC] 本文实际上是《HBase不睡觉书》的重点归纳。该书不涉及：集群备份、ACL权限控制、REST客户端等。而对于一些不算常用的技术，书中也提示可略过（“集群搭建”除外），本文便以“略”表示。 基础 NoSQL 关系型数据库在大数据情况下受到并发和关联等复杂查询的影响而导致性能下降 阅读全文
posted @ 2019-02-20 12:32 justcodeit 阅读(860) 评论(0) 推荐(0) 编辑