摘要：
自己搭建的集群，启动hadoop 集群是，发现slave节点的datanode没有启动，查了资料发现是因为我在启动集群前，执行了这个命令： hadoop namenode -format 这个指令会重新格式化namenode的信息,这样可能会导致master节点的VERSION信息跟datanode 阅读全文
摘要：
Hadoop 3.x 与Hadoop 2.x 的区别和优化点 #通用性 1.精简Hadoop内核，包括剔除过期的API和实现，将默认组件实现替换成最高效的实现（比如将FileOutputCommitter缺省实现换为v2版本，废除hftp转由webhdfs替代，移除Hadoop子实现序列化库org. 阅读全文
摘要：
什么是分布式系统？ 拿一个最简单的例子，就比如说我们的图书管理系统。之前的系统包含了所有的功能，比如用户注册登录、管理员功能、图书借阅管理等。这叫做集中式系统。也就是一个人干了好几件事。 后来随着功能的增多，用户量也越来越大。集中式系统维护太麻烦，拓展性也不好。于是就考虑着把这些功能分开。通俗的理解 阅读全文
摘要：
MapReduce过程中的shuffle，进行了3次排序，一次快排，两次归并排序。 阅读全文
摘要：
hive很简单，有sql基础很容易上手 阅读全文
摘要：
##面试题： hive 内部表和外部表的区别？ hive 是如何实现分区的？ Hive 有哪些方式保存元数据，各有哪些优缺点？ hive中order by、distribute by、sort by和cluster by的区别和联系 hive 中的压缩格式 RCFile、 TextFile、 Seq 阅读全文
摘要：
什么是云原生应用？ 原文：《一顿操作猛如虎！云原生应用为何如此优秀？》 https://blog.csdn.net/csdnnews/article/details/90168599 #从Function到Service 一、从函数说起 我是1993年学习电脑的。学习的开发语言有三种：汇编、C、Db 阅读全文
摘要：
docker compose 官放推荐的下载方式是这样的: sudo curl -L "https://github.com/docker/compose/releases/download/1.26.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr 阅读全文
摘要：
不使用Docker0，如何实现Docker 自定义网络？ 为什么要自定义网路？ Docker 不同容器之间通过Docker0相互通信，Docker0 相当于一个路由，不容容器之间的通信请求，通过Docker0 转发，从而实现通信。 这样就会有一个问题，我有一个微服务A，一个微服务B，都需要联网，但是 阅读全文
摘要：
进入当前正在运行的容器 # 我们通常容器都是使用后台方式运行的，需要进入容器，修改一些配置 # 命令： docker exec -it 容器 id bashshell #测试 我们通常容器都是使用后台方式运行的，需要进入容器，修改一些配置 命令： docker exed-it 容器 id bashs 阅读全文