摘要：
针对大数据的特点，传统集中式处理已不能满足大数据的处理要求。因此，利用分布式处理对大数据的收集、ETL、计算、使用是必由之路。 本博不是什么技术大拿，只是记录在学习利用分布式处理大数据过程中的心得和踩过的坑，自娱自乐，也顺便众乐乐，欢迎大家批评指正相互撕逼，注意文明就好。 下图是一个学习过程中可能涉 阅读全文
摘要：
环境：企业环境，内网与外网隔离，有严格的网络访问策略和系统使用监控要求，直接与考核挂钩。同时企业内对敏捷的要求提升。鼓励使用微服务体系架构提升开发、部署、运维的效率，降低操作风险。 硬件环境：X86服务器和非开源操作系统 操作系统：suse 12 sp4。docker-ce社区。有docker-ee 阅读全文
摘要：
之前都是单个容器的配置、启动、数据操作。 现在配置容器的网络和通信，通过端口，多个容器之间可以通信、互联、协作。 容器对外都可以借助实体机的网卡向外通讯，容器与容器之间可以像计算机一样通过网络互传，但是就会产生通讯成本，占用带宽。 容器内可以通过docker的虚拟网络互连，如果容器都在一台实体机上， 阅读全文
摘要：
docker 有2种管理数据的方式： 1、数据卷，把容器的数据写到本地硬盘去，相当于mount个磁盘给容器； 2、数据卷容器，有个容器专门管理数据 数据卷： docker container run -v 路径 镜像名 在容器内建一个 路径 docker container run -v 本地路径: 阅读全文
摘要：
容器从镜像（images）中来，可以想象成：images是光碟，用光碟给机器装系统、装软件，装好的app就是容器（container） docker run 创建并启动容器，后台会进行以下操作： 1、检查本地是否有image，没有的话会自动去下载，内网的机器就只能从harbor里下载好； 2、利用i 阅读全文
摘要：
docker ps -a 本机所有的容器，运行，不运行的 docker container ls 本机运行当中的容器 docker save -o xxxx.tar 镜像名:tag 导出本地的image到tar文件 docker load --input xxxx.tar 导入本地的tar文件到do 阅读全文
摘要：
二进制部署，适用于企业linux环境，不连接互联网(我用的suse 12 x86)。部署还算方便，但需要root权限，更新需要停止docker服务，docker命令不能用tab键。 注册成service还不会，待弄，有会的说一下。 docker-ce,docker-compose的离线安装： 1、下 阅读全文
摘要：
当手头的服务器比较多的时候，需要合理规划一下服务器的使用。 1、首先看一下各个服务器的配置情况。当然每台服务器都是最新的，配置都是一样，那是最好的。但绝大多数的实际情况肯定不是这样理想。所以需要看一下服务器的硬件配置。主要关注CPU的核数、内存的容量。如果I/O没有特殊的，比如SSD，就可以视作一样 阅读全文
摘要：
从这里开始，就开始接触使用分布式系统处理大数据了。在处理大数据之前，需要有一个场景，否则技术工具无法嵌入现实当中，价值就会降低。我碰到的场景应该还是比较具有普遍性，因此大家可以在我的场景里先玩一遍，熟悉一下流程和方法，然后加以改造，加载到自己的场景和环境中。 场景：在一个大型公司内部，终端和各个业务 阅读全文
摘要：
环境：SUSE 11 64位 安装JAVA JDK 1、确定版本。一般都是安装最新的JDK（Java SE Development Kit）。个别软件和系统需要特定版本的JDK，根据实际需要下载。 2、下载地址：http://www.oracle.com/technetwork/java/javas 阅读全文
摘要：
环境：SUSE 11 64位 系统的结构：两台服务器A、B；A为主机，主机名为namenode，有个用户hadoop；B为从机，主机名为datanode，有个用户hadoop。 在A机、B机的/etc/hosts中把对方的机器名写好，确保ping机器名能ping通，如下： A机的IP地址 namen 阅读全文