摘要：什么是Docker Compose Compose是定义和运行多容器Docker应用程序的工具。使用Compose，您可以使用YAML文件来配置应用程序的服务。然后，使用单个命令，您可以从配置中创建并启动所有服务。要了解有关Compose所有功能的更多信息，请参阅功能列表。 使用Compose 使用
阅读全文
摘要：上一篇章涉及到了I/O方式上传下载文件 这一篇我们来实现一下小文件合并 代码 /** * 小文件合并：读取本地小文件合并到hdfs的大文件中 */ @Test public void mergeFile() throws URISyntaxException, IOException, Interr
阅读全文
摘要：上传文件 方式一：常规流程 @Test public void uploadFile2Hdfs() throws IOException { // configuration Configuration configuration = new Configuration(); // 设置nameno
阅读全文
摘要：前言 安装路径中不要包含中文、空格 修改host文件 windows C:\windows\System32\drivers\etc\hosts Mac os /etc/hosts 添加以下内容 # 三台虚拟机的ip以及映射 192.168.77.110 node001.sjj.com node00
阅读全文
摘要：前言 api文档 为了方便，我先在test下新建 文件编写 创建文件 编写文件 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.
阅读全文
摘要：准备 环境：hadoop、jdk、maven 软件：IDEA 创建maven工程 新建项目 选择maven项目，下一步 取名：HadoopProject 设置IDEA中的maven 点击Preferences 选择Build、Execution、Deployment->Build tools->ma
阅读全文
摘要：1. 获取zookeeper zookeeper3.6.3版本 2. 解压 tar -xvf apache-zookeeper-3.6.3-bin.tar -C /sjj/install/ 3. 修改配置文件 新建文件夹 mkdir -p /sjj/install/apache-zookeeper-
阅读全文
摘要：hadoop的起源 阶段一 Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。 阶段二 2003年、2004年谷歌发表的两篇论文为该问题提供了可
阅读全文
摘要：常用命令 HDFS文件操作命令风格有两种 两种命令效果一样 hdfs dfs 开头 hadoop fs 开头 查看帮助信息 hdfs dfs -help [cmd] hadoop fs -help [cmd] # 两个命令等价 查看指定目录文件列表 -ls [-C] [-d] [-h] [-q] [
阅读全文
摘要：操作前说明 环境 | 机器名 | IP | 用户 | | | | | | node001 | 192.168.77.110 | hadoop | | node002 | 192.168.77.120 | hadoop | | node003 | 192.168.77.130 | hadoop | 要
阅读全文
摘要：通过rsync分发脚本 rsync是很好用的增量拷贝命令 安装rsync sudo yum -y install rsync 我们创建 /home/用户/bin 目录来存放脚本文件 以后我们可以用rsync来分发脚本 创建一键启动停止hadoop脚本 在 /home/用户/bin 下 vim had
阅读全文
摘要：##操作前说明 ####机器准备 版本：CentOS 7 三台机器ip：192.168.77.110； 192.168.77.110 ； 192.168.77.110； 三台机器名：node001； node002； node003； 要求：三台机器能相互ping通，三台机器能正常使用ssh ###
阅读全文
摘要：准备 操作系统： macOS 镜像文件： CentOS7 虚拟机软件：VMware Fusion 网络配置 创建自己的网络 打开VMware Fusion偏好设置->网络->自定 解锁 添加网络vmnet2 勾选使用NAT、将Mac主机连接到该网络；去勾选DHCP 应用，加锁 修改配置 打开终端进入
阅读全文
摘要：创建Redis专用网络 docker network create redis --subnet 172.22.0.0/16 创建Redis 创建环境配置 for port in $(seq 1 6); \ do \ mkdir -p /home/sjj/redis/node-${port}/con
阅读全文
摘要：理解Docker网络 docker0 Linux中输入 ip addr 查看网络 其中有一项网络 4: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default link/
阅读全文
摘要：准备 tomcat压缩包，jdk压缩包 下面的配置根据自己的jdk、tomcat版本灵活修改 编写Dockerfile 创建存放dockerfile的文件夹 sudo mkdir /home/dockerfiles 编写自己的dockerfile sudo vim /home/dockerfiles
阅读全文
摘要：前言 mysql的部署和其它有些许区别 mysql作为关系型数据库管理系统我们希望其数据可以持久性存储，因此我么需要挂载目录 mysql的使用需要端口、用户、密码，这些在部署的时候不要忘记 部署mysql 方法一：一条命令通关 docker run --name mysql_1 \ -p 3366:
阅读全文
摘要：Dockerfile官方参考文档 Dockerfile用法 docker build命令从Dockerfile和上下文构建映像。构建版本的上下文是指定位置PATH或URL上的一组文件。PATH是您本地文件系统上的目录。URL是一个Git存储库位置。 构建上下文是递归处理的。因此，PATH包含任何子目
阅读全文
摘要：为什么需要容器数据卷 试想一下如果将数据都存在容器里，那么将容器删除里面的数据都会**丢失** 由此我们需要实现**数据持久化** 容器数据卷的作用就是将容器的目录挂载到Linux本地，这样就实现了数据的共享 使用数据卷 方法一：使用命令-v直接挂载 docker run -it -v 主机目录:容
阅读全文
摘要：什么是镜像 镜像（Mirroring）是一种文件存储形式，是冗余的一种类型，一个磁盘上的数据在另一个磁盘上存在一个完全相同的副本即为镜像。 镜像文件一般是用于电脑主机系统的安装和维护，和日常用到的zip压缩文件的性质差不多。镜像文件包含的内容也有很多，比如驱动文件、系统文件、引导文件等等，镜像文件也
阅读全文
摘要：创建一个network network_1 docker network create network_1 elasticsearch 关于elasticsearch es 暴露的端口很多 es 十分的消耗内存 es 的数据一般需要存放到安全目录 docker关于elasticsearch elas
阅读全文
摘要：前言 如果按照之前部署Nginx那样来部署，步骤应该是：[搜索镜像->]拉取镜像->运行镜像生成容器->其他操作…… 虽然说这样也并不麻烦，但是值得一提的是 我们可以直接运行run命令，如果没有相应的镜像，别担心docker会帮你获取 我们来看一下官方文档 tomcat官方文档 docker run
阅读全文
摘要：搜索镜像 docker search nginx 拉取镜像 docker pull nginx 默认最新版本 运行测试 查看镜像 docker images 运行镜像 docker run -d --name nginx_1 -p 3344:80 nginx 关闭防火墙先 运行 后台模式 命名为 n
阅读全文
摘要：帮助命令 查看docker版本信息 docker version 查看docker系统信息 docker info 命令帮助命令 docker xxx --help 命令帮助文档 镜像命令 显示本地主机所有镜像 docker images 可选项 -a, --all # 显示所有镜像(默认隐藏中间镜
阅读全文
摘要：安装前准备 一台Linux虚拟机（我的是CentOS7，不同的系统安装有些许出入） 开始安装 访问官网，查看文档 官网文档是安装Docker时的利器 CentOS的详细安装步骤点这里 我们可以看见官方文档中要求的CentOS版本在7和8以上，如果不是那么第一步就白给了 卸载旧版本 CentOS中执行
阅读全文
