08 2018 档案
在Docker环境下部署Kafka
摘要:1、下载镜像 这里使用了wurstmeister/kafka和wurstmeister/zookeeper这两个版本的镜像 在命令中运行docker images验证两个镜像已经安装完毕 2、启动 1、启动zookeeper 2、启动kafka 可以通过docker ps查看启动状态 3、测试发送消
阅读全文
Zookeeper简介与使用
摘要:1. Zookeeper概念简介: Zookeeper是一个分布式协调服务;就是为用户的分布式应用程序提供协调服务 A、zookeeper是为别的分布式程序服务的 B、Zookeeper本身就是一个分布式程序(只要有半数以上节点存活,zk就能正常服务) C、Zookeeper所提供的服务涵盖:主从协
阅读全文
Kafka集群部署
摘要:一、集群部署的基本流程 下载安装包、解压安装包、修改配置文件、分发安装包、启动集群 二、集群部署的基础环境准备 安装前的准备工作(zk集群已经部署完毕) 关闭防火墙 chkconfig iptables off && setenforce 0 创建用户 groupadd realtime && us
阅读全文
向kafka批量发送已存在的txt文件
摘要:需要利用kafka发送txt或log文件,有两种方式:1.自己写程序;2.利用kafka自带脚本。 package kafka.producer; import java.util.concurrent.ArrayBlockingQueue; import java.util.concurrent.
阅读全文
Linux Centos7 虚拟机上网设置
摘要:一、Windows下网卡,共享上网模式 二、虚拟机VMnet8的网卡模 三、Linux 下配置网卡 命令: vi /etc/sysconfig/network-scripts/ifcfg-ens33 配置如下: TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=n
阅读全文
Hadoop(四)shell脚本定时采集日志数据到hdfs
摘要:#!/bin/bash#set java envexport JAVA_HOME=/wocloud/java/jdk1.7.0_45export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libe
阅读全文
Tomcat安装、配置、优化及负载均衡详解
摘要:一、常见JavaWeb服务器 1、WebLogic:是BEA公司的产品、WebSphereAS:是IBM公司的产品、JBossAS:红帽公司的产品,可以自行了解 2、Tomcat服务器:Sun公司在推出的小型Servlet/JSP调试工具的基础上发展起来的一个优秀的Servlet容器,Tomcat本
阅读全文
Hadoop(三) HADOOP常用命令参数介绍
摘要:-help 功能:输出这个命令参数手册 -ls 功能:显示目录信息 示例: hadoop fs -ls hdfs://hadoop-server01:9000/ 备注:这些参数中,所有的hdfs路径都可以简写 -->hadoop fs -ls / 等同于上一条命令的效果 -mkdir 功能:在hdf
阅读全文
Hadoop(二) HADOOP集群搭建(简化版)
摘要:1.准备Linux环境 1.0先将虚拟机的网络模式选为NAT 1.1修改主机名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=itcast ### 1.2修改IP 两种方式: 第一种:通过Linux图形界面进行修改(强烈推荐) 进入Linux图形
阅读全文
Hadoop(二) HADOOP集群搭建
摘要:一、HADOOP集群搭建 1、集群简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群: 负责海量数据的存储,集群中的角色主要有 NameNode / DataNode YARN集群: 负责海量数据运算时的资源调度,集群中的角色主要有
阅读全文
Hadoop(一) HADOOP简介
摘要:1. HADOOP背景介绍 1.1 什么是HADOOP 1.2 HADOOP产生背景 ——分布式文件系统(GFS),可用于处理海量网页的存储 ——分布式计算框架MAPREDUCE,可用于处理海量网页的索引计算问题。 1.3 HADOOP在大数据、云计算中的位置和关系 1.4 国内外HADOOP应用案
阅读全文
Spring Boot 2.0(五):Docker Compose + Spring Boot + Nginx + Mysql 实践
摘要:Spring Boot 案例 首先我们先准备一个 Spring Boot 使用 Mysql 的小场景,我们做这样一个示例,使用 Spring Boot 做一个 Web 应用,提供一个按照 IP 地址统计访问次数的方法,每次请求时将统计数据存入 Mysql 并展示到页面中。 配置信息 依赖包 <dep
阅读全文
Docker(四):Docker 三剑客之 Docker Compose
摘要:Docker-Compose 是 Docker 的一种编排服务,是一个用于在 Docker 上定义并运行复杂应用的工具,可以让用户在集群中部署分布式应用。 前两篇文章我们介绍了 Dockerfile 的使用Docker(二):Dockerfile 使用介绍,我们知道使用一个 Dockerfile 模
阅读全文
Docker(三):Dockerfile 命令详解
摘要:上一篇文章Docker(二):Dockerfile 使用介绍介绍了 Dockerfile 的使用,这篇文章我们来继续了解 Dockerfile ,学习 Dockerfile 各种命令的使用。 Dockerfile 指令详解 1 FROM 指定基础镜像 FROM 指令用于指定其后构建新镜像所使用的基础
阅读全文
Docker(二):Dockerfile 使用介绍
摘要:上一篇文章Docker(一):Docker入门教程介绍了 Docker 基本概念,其中镜像、容器和 Dockerfile 。我们使用 Dockerfile 定义镜像,依赖镜像来运行容器,因此 Dockerfile 是镜像和容器的关键,Dockerfile 可以非常容易的定义镜像内容,同时在我们后期的
阅读全文
Docker(一):Docker入门教程
摘要:如今Docker的使用已经非常普遍,特别在一线互联网公司。使用Docker技术可以帮助企业快速水平扩展服务,从而到达弹性部署业务的能力。在云服务概念兴起之后,Docker的使用场景和范围进一步发展,如今在微服务架构越来越流行的情况下,微服务+Docker的完美组合,更加方便微服务架构运维部署落地。
阅读全文
虚拟机vmware centos7 扩展磁盘空间
摘要:0、思路 创建一个新的逻辑分区,将新的逻辑分区格式化ext3(或其他类型)的文件系统,mount到磁盘空间不够的文件系统,就跟原来的分区/文件系统一样的使用 1、准备 1.1 注意使用VMware自带的Expand功能不能有Snapshot存在,所以在expand之前先把所有的Snapshot删掉了
阅读全文