一些大数据开发相关技术

Docker
官方定义1：Docker是一个开源的应用容器引擎，开发者可以打包他们的应用及依赖到一个可移植的容器中，发布到流行的Linux机器上，也可实现虚拟化。

k8s(Kubernetes)
官方定义2：k8s是一个开源的容器集群管理系统，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。
Kubernetes是一个十分强大的容器编排系统
1、故障迁移：当某一个node节点关机或挂掉后，node节点上的服务会自动转移到另一个node节点上，这个过程所有服务不中断。这是docker或普通云主机是不能做到的
2、资源调度：当node节点上的cpu、内存不够用的时候，可以扩充node节点，新建的pod就会被kube-schedule调度到新扩充的node节点上
3、资源隔离：创建开发、运维、测试三个命名空间，切换上下文后，开发人员就只能看到开发命名空间的所有pod，看不到运维命名空间的pod，这样就不会造成影响，互不干扰
传统的主机或只有docker环境中，登录进去就会看到所有的服务或者容器
4、因为采用docker容器，进程之间互不影响，
5、安全：不同角色有不同的权限，查看pod、删除pod等操作；RBAC认证增加了k8s的安全

Rancher
Rancher是一个开源的企业级容器管理平台。通过Rancher，企业再也不必自己使用一系列的开源软件去从头搭建容器服务平台。Rancher提供了在生产环境中使用的管理Docker和Kubernetes的全栈化容器部署与管理平台。

Harbor
Harbor是构建企业级私有docker镜像的仓库的开源解决方案，它是Docker Registry的更高级封装，它除了提供友好的Web UI界面，角色和用户权限管理，用户操作审计等功能外，它还整合了K8s的插件(Add-ons)仓库，即Helm通过chart方式下载，管理，安装K8s插件，而chartmuseum可以提供存储chart数据的仓库【注:helm就相当于k8s的yum】。另外它还整合了两个开源的安全组件，一个是Notary，另一个是Clair，Notary类似于私有CA中心，而Clair则是容器安全扫描工具，它通过各大厂商提供的CVE漏洞库来获取最新漏洞信息，并扫描用户上传的容器是否存在已知的漏洞信息，这两个安全功能对于企业级私有仓库来说是非常具有意义的。

GlusterFS
GlusterFS系统是一个可扩展的网络文件系统，相比其他分布式文件系统，GlusterFS具有高扩展性、高可用性、高性能、可横向扩展等特点，并且其没有元数据服务器的设计，让整个服务没有单点故障的隐患。

HDFS(Hadoop Distributed File System)
作为Google File System（GFS）的实现，是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（Large Data Set）的应用处理带来了很多便利。

Hive
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。

Hadoop
Hadoop是一个开源的框架，可编写和运行分不是应用处理大规模数据，是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop=HDFS（文件系统，数据存储技术相关）+ Mapreduce（数据处理），Hadoop的数据来源可以是任何形式，在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能，具有更灵活的处理能力，不管任何数据形式最终会转化为key/value，key/value是基本数据单元。用函数式变成Mapreduce代替SQL，SQL是查询语句，而Mapreduce则是使用脚本和代码，而对于适用于关系型数据库，习惯SQL的Hadoop有开源工具hive代替。

HQL
HQL是Hibernate Query Language（Hibernate 查询语言）的缩写，提供更加丰富灵活、更为强大的查询能力；HQL更接近SQL语句查询语法。
Hibernate 查询语言（HQL）是一种面向对象的查询语言，类似于 SQL，但不是去对表和列进行操作，而是面向对象和它们的属性。 HQL 查询被 Hibernate 翻译为传统的 SQL 查询从而对数据库进行操作。

大数据离线计算
https://www.cnblogs.com/yinzhengjie/articles/11060472.html
离线计算多用于模型的训练和数据的预处理，最经典的就是Hadoop的MapReduce方式；而实时计算框架是要求立即返回计算结果的，快速响应请求，多用于简单的累加计算和基于训练好的模型进行分类等操作。

npm（Node Package Manager）
意思是 node 的包管理器，它是随着 NodeJs 安装时一起被安装的；无论是在前端还是在前端开发中都会使用到 npm 包管理器。（前端框架开发react、Vue...，后台 node 开发）。

十个大数据最好用的开发工具（Excel、SQL、Mysql等十种数据技术基础起步，建议进阶路径）
https://www.sohu.com/a/241215945_100173574

Ali大数据开发平台DataIDE
https://edu.aliyun.com/course/117/lesson/list?utm_campaign=aliyunedu&utm_medium=images&utm_source=wb&utm_content=m_27857

Ali大数据平台DataWorks
https://data.aliyun.com/product/ide

Docker+Rancher+Harbor搭建全过程
https://blog.csdn.net/sql_ican/article/details/81945023

Immutable Infrastructure不可变架构
http://www.xiaoxiansheng.com/html/talk/detail/4623?categoryId=319