摘要：
一、什么是Docker的镜像 Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化，容器是完全使用沙箱机制，相互之间不会有任何接口。一个完整的Docker有以下几个部分组成： Docker Clien 阅读全文
摘要：
一、什么是Kafka？ 数据工程中最具挑战性的部分之一是如何从不同点收集和传输大量数据到分布式系统进行处理和分析。需要通过消息队列正确地分离大量数据，因为如果一部分数据无法传送，则可以在系统恢复时传输和分析其他数据。有两种消息排队，对于上述目的，它们都是可靠的和异步的。点对点(Point to po 阅读全文
摘要：
一、Hive中load语句的语法说明 Hive Load语句不会在加载数据的时候做任何转换工作，而是纯粹的把数据文件复制/移动到Hive表对应的地址。语法格式如下： LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablenam 阅读全文
摘要：
一、什么是PL/SQL？ PL/SQL(Procedure Language/SQL)是oracle在标准的sql语言上的扩展。ql/sql不仅允许嵌入sql语言，还可以定义变量和常量，允许私用条件语句和循环语句，允许使用例外处理各种错误，这使得它的功能变得更加强大。 PL/SQL开发工具主要有： 阅读全文
摘要：
一、什么是游标？ 游标（Cursor）是处理数据的一种方法，为了查看或者处理结果集中的数据，游标提供了在结果集中一次一行或者多行前进或向后浏览数据的能力。 游标实际上是一种能从包括多条数据记录的结果集中每次提取一条记录的机制。游标可以被看作是一个查询结果集（可以是零条、一条或由相关的选择语句检索出的 阅读全文
摘要：
一、什么是内存溢出？ 内存溢出（OOM：out of memory）通俗理解就是内存不够，通常在运行大型软件或游戏时，软件或游戏所需要的内存远远超出了你主机内安装的内存所承受大小，就叫内存溢出。 在Java中，将会产生java.lang.OutOfMemoryError。看下关于的官方说明： Thr 阅读全文
摘要：
一、K8s整体日志收集方案 整体的日志收集方案，如下图所示： Filebeat是本地文件的日志数据采集器，可监控日志目录或特定日志文件（tail file），并将它们转发给Elasticsearch或Logstatsh进行索引、kafka等。带有内部模块（auditd，Apache，Nginx，Sy 阅读全文
摘要：
Redis 作为一个publish/subscribe server，起到了消息路由的功能。订阅者可以通过subscribe和psubscribe命令向Redis server订阅自己感兴趣的消息类型，当发布者通过publish命令向Redis server发送特定类型的消息时。订阅该消息类型的全部 阅读全文
摘要：
一、什么是事务？ 数据库事务（Transaction）是访问并可能操作各种数据项的一个数据库操作序列，这些操作要么全部执行,要么全部不执行，是一个不可分割的工作单位。事务由事务开始与事务结束之间执行的全部数据库操作组成。 例如：从A账号给B账号转帐，对应于如下两条sql语句 update from 阅读全文
摘要：
一、什么是Docker Swarm？ Docker Swarm是Docker官方提供的一款集群管理工具，其主要作用是把若干台Docker主机抽象为一个整体，并且通过一个入口统一管理这些Docker主机上的各种Docker资源。Swarm和Kubernetes比较类似，但是更加轻，具有的功能也较kub 阅读全文