posts - 139,  comments - 10,  views - 21万
< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8
08 2018 档案
在Docker环境下部署Kafka
摘要:1、下载镜像 这里使用了wurstmeister/kafka和wurstmeister/zookeeper这两个版本的镜像 在命令中运行docker images验证两个镜像已经安装完毕 2、启动 1、启动zookeeper 2、启动kafka 可以通过docker ps查看启动状态 3、测试发送消 阅读全文
posted @ 2018-08-31 18:00 ldsweely 阅读(288) 评论(0) 推荐(0) 编辑
Zookeeper简介与使用
摘要:1. Zookeeper概念简介: Zookeeper是一个分布式协调服务;就是为用户的分布式应用程序提供协调服务 A、zookeeper是为别的分布式程序服务的 B、Zookeeper本身就是一个分布式程序(只要有半数以上节点存活,zk就能正常服务) C、Zookeeper所提供的服务涵盖:主从协 阅读全文
posted @ 2018-08-30 16:03 ldsweely 阅读(227) 评论(0) 推荐(0) 编辑
Kafka集群部署
摘要:一、集群部署的基本流程 下载安装包、解压安装包、修改配置文件、分发安装包、启动集群 二、集群部署的基础环境准备 安装前的准备工作(zk集群已经部署完毕) 关闭防火墙 chkconfig iptables off && setenforce 0 创建用户 groupadd realtime && us 阅读全文
posted @ 2018-08-30 10:33 ldsweely 阅读(162) 评论(0) 推荐(0) 编辑
向kafka批量发送已存在的txt文件
摘要:需要利用kafka发送txt或log文件,有两种方式:1.自己写程序;2.利用kafka自带脚本。 package kafka.producer; import java.util.concurrent.ArrayBlockingQueue; import java.util.concurrent. 阅读全文
posted @ 2018-08-23 17:13 ldsweely 阅读(3100) 评论(0) 推荐(0) 编辑
Linux Centos7 虚拟机上网设置
摘要:一、Windows下网卡,共享上网模式 二、虚拟机VMnet8的网卡模 三、Linux 下配置网卡 命令: vi /etc/sysconfig/network-scripts/ifcfg-ens33 配置如下: TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=n 阅读全文
posted @ 2018-08-17 17:57 ldsweely 阅读(192) 评论(0) 推荐(0) 编辑
Hadoop(四)shell脚本定时采集日志数据到hdfs
摘要:#!/bin/bash#set java envexport JAVA_HOME=/wocloud/java/jdk1.7.0_45export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libe 阅读全文
posted @ 2018-08-17 11:09 ldsweely 阅读(324) 评论(0) 推荐(0) 编辑
Tomcat安装、配置、优化及负载均衡详解
摘要:一、常见JavaWeb服务器 1、WebLogic:是BEA公司的产品、WebSphereAS:是IBM公司的产品、JBossAS:红帽公司的产品,可以自行了解 2、Tomcat服务器:Sun公司在推出的小型Servlet/JSP调试工具的基础上发展起来的一个优秀的Servlet容器,Tomcat本 阅读全文
posted @ 2018-08-15 09:08 ldsweely 阅读(190) 评论(0) 推荐(0) 编辑
Hadoop(三) HADOOP常用命令参数介绍
摘要:-help 功能:输出这个命令参数手册 -ls 功能:显示目录信息 示例: hadoop fs -ls hdfs://hadoop-server01:9000/ 备注:这些参数中,所有的hdfs路径都可以简写 -->hadoop fs -ls / 等同于上一条命令的效果 -mkdir 功能:在hdf 阅读全文
posted @ 2018-08-06 09:17 ldsweely 阅读(1637) 评论(0) 推荐(0) 编辑
Hadoop(二) HADOOP集群搭建(简化版)
摘要:1.准备Linux环境 1.0先将虚拟机的网络模式选为NAT 1.1修改主机名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=itcast ### 1.2修改IP 两种方式: 第一种:通过Linux图形界面进行修改(强烈推荐) 进入Linux图形 阅读全文
posted @ 2018-08-03 11:02 ldsweely 阅读(160) 评论(0) 推荐(0) 编辑
Hadoop(二) HADOOP集群搭建
摘要:一、HADOOP集群搭建 1、集群简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群: 负责海量数据的存储,集群中的角色主要有 NameNode / DataNode YARN集群: 负责海量数据运算时的资源调度,集群中的角色主要有 阅读全文
posted @ 2018-08-03 10:19 ldsweely 阅读(201) 评论(0) 推荐(0) 编辑
Hadoop(一) HADOOP简介
摘要:1. HADOOP背景介绍 1.1 什么是HADOOP 1.2 HADOOP产生背景 ——分布式文件系统(GFS),可用于处理海量网页的存储 ——分布式计算框架MAPREDUCE,可用于处理海量网页的索引计算问题。 1.3 HADOOP在大数据、云计算中的位置和关系 1.4 国内外HADOOP应用案 阅读全文
posted @ 2018-08-03 10:01 ldsweely 阅读(243) 评论(0) 推荐(0) 编辑
Spring Boot 2.0(五):Docker Compose + Spring Boot + Nginx + Mysql 实践
摘要:Spring Boot 案例 首先我们先准备一个 Spring Boot 使用 Mysql 的小场景,我们做这样一个示例,使用 Spring Boot 做一个 Web 应用,提供一个按照 IP 地址统计访问次数的方法,每次请求时将统计数据存入 Mysql 并展示到页面中。 配置信息 依赖包 <dep 阅读全文
posted @ 2018-08-01 17:17 ldsweely 阅读(203) 评论(0) 推荐(0) 编辑
Docker(四):Docker 三剑客之 Docker Compose
摘要:Docker-Compose 是 Docker 的一种编排服务,是一个用于在 Docker 上定义并运行复杂应用的工具,可以让用户在集群中部署分布式应用。 前两篇文章我们介绍了 Dockerfile 的使用Docker(二):Dockerfile 使用介绍,我们知道使用一个 Dockerfile 模 阅读全文
posted @ 2018-08-01 16:54 ldsweely 阅读(268) 评论(0) 推荐(0) 编辑
Docker(三):Dockerfile 命令详解
摘要:上一篇文章Docker(二):Dockerfile 使用介绍介绍了 Dockerfile 的使用,这篇文章我们来继续了解 Dockerfile ,学习 Dockerfile 各种命令的使用。 Dockerfile 指令详解 1 FROM 指定基础镜像 FROM 指令用于指定其后构建新镜像所使用的基础 阅读全文
posted @ 2018-08-01 16:53 ldsweely 阅读(235) 评论(0) 推荐(0) 编辑
Docker(二):Dockerfile 使用介绍
摘要:上一篇文章Docker(一):Docker入门教程介绍了 Docker 基本概念,其中镜像、容器和 Dockerfile 。我们使用 Dockerfile 定义镜像,依赖镜像来运行容器,因此 Dockerfile 是镜像和容器的关键,Dockerfile 可以非常容易的定义镜像内容,同时在我们后期的 阅读全文
posted @ 2018-08-01 16:51 ldsweely 阅读(223) 评论(0) 推荐(0) 编辑
Docker(一):Docker入门教程
摘要:如今Docker的使用已经非常普遍,特别在一线互联网公司。使用Docker技术可以帮助企业快速水平扩展服务,从而到达弹性部署业务的能力。在云服务概念兴起之后,Docker的使用场景和范围进一步发展,如今在微服务架构越来越流行的情况下,微服务+Docker的完美组合,更加方便微服务架构运维部署落地。 阅读全文
posted @ 2018-08-01 16:49 ldsweely 阅读(354) 评论(0) 推荐(0) 编辑
虚拟机vmware centos7 扩展磁盘空间
摘要:0、思路 创建一个新的逻辑分区,将新的逻辑分区格式化ext3(或其他类型)的文件系统,mount到磁盘空间不够的文件系统,就跟原来的分区/文件系统一样的使用 1、准备 1.1 注意使用VMware自带的Expand功能不能有Snapshot存在,所以在expand之前先把所有的Snapshot删掉了 阅读全文
posted @ 2018-08-01 12:36 ldsweely 阅读(14334) 评论(2) 推荐(3) 编辑

点击右上角即可分享
微信分享提示