adolfmc - 博客园

2017年8月15日

摘要：简介在一台ECS阿里云服务器上构建Kafa单个集群环境需要如下的几个步骤：服务器环境 JDK的安装 ZooKeeper的安装 Kafka的安装 1. 服务器环境 CPU： 1核内存： 2048 MB (I/O优化) 1Mbps 操作系统 ubuntu14.04 64位感觉服务器性能还是很好的阅读全文

posted @ 2017-08-15 06:53 adolfmc 阅读(1595) 评论(0) 推荐(0) 编辑

2017年8月14日

KafkaOffsetMonitor 安装

摘要： KafkaOffsetMonitor 安装 1，下载KafkaOffsetMonitor-assembly-0.2.0.jar 2,启动步骤1:启动ZK（DN1～DN3节点） zkServer.sh start 步骤2:启动Kafka服务（集群依次输入以下命令启动） kafka-server-st 阅读全文

posted @ 2017-08-14 20:47 adolfmc 阅读(382) 评论(0) 推荐(0) 编辑

2017年8月11日

logback-kafka-appender

摘要： logback 日志写入kafka队列 logback-kafka-appender Logback incompatibility Warning Due to a bug in logback-core (LOGBACK-1158), logback-kafka-appender does no 阅读全文

posted @ 2017-08-11 22:19 adolfmc 阅读(1459) 评论(0) 推荐(0) 编辑

centos7 关闭firewall安装iptables并配置

摘要：一、配置防火墙，开启80端口、3306端口 CentOS 7.0默认使用的是firewall作为防火墙，这里改为iptables防火墙。 1、关闭firewall： systemctl stop firewalld.service #停止firewall systemctl disable fire 阅读全文

posted @ 2017-08-11 21:59 adolfmc 阅读(259) 评论(0) 推荐(0) 编辑

Kafka单机环境的部署

摘要：前面说过Kafka集群环境的部署，现在主要说一下在本地测试中Kafka单机环境的部署，和前面一样首先保证zookeeper服务的正常运行，然后解压并释放kafka安装包，并放到指定位置：现在开始编辑配置文件server.properties，执行命令： vim config/server.prop 阅读全文

posted @ 2017-08-11 12:30 adolfmc 阅读(20079) 评论(0) 推荐(0) 编辑

在CentOS 7上安装Kafka

摘要：简介 Kafka 是一种高吞吐的分布式发布订阅消息系统，能够替代传统的消息队列用于解耦合数据处理，缓存未处理消息等，同时具有更高的吞吐率，支持分区、多副本、冗余，因此被广泛用于大规模消息数据处理应用。Kafka 支持Java 及多种其它语言客户端，可与Hadoop、Storm、Spark等其它大数据阅读全文

posted @ 2017-08-11 10:35 adolfmc 阅读(7572) 评论(0) 推荐(0) 编辑

在CentOS上安装ZooKeeper集群

摘要：（可选）创建新用户一般我倾向于把需要启动daemon进程，对外提供服务的程序，即服务器类的程序，安装在单独的用户下面。这样可以做到隔离，运维方面，安全性也提高了。创建一个新的group, 创建一个新的用户，并加入group, 给新用户设置密码， 1. 单机模式(Standalone mode) 阅读全文

posted @ 2017-08-11 10:35 adolfmc 阅读(362) 评论(0) 推荐(0) 编辑

Storm集成Kafka应用的开发

摘要：我们知道storm的作用主要是进行流式计算，对于源源不断的均匀数据流流入处理是非常有效的，而现实生活中大部分场景并不是均匀的数据流，而是时而多时而少的数据流入，这种情况下显然用批量处理是不合适的，如果使用storm做实时计算的话可能因为数据拥堵而导致服务器挂掉，应对这种情况，使用kafka作为消息队阅读全文

posted @ 2017-08-11 09:44 adolfmc 阅读(456) 评论(0) 推荐(0) 编辑

linux定时任务的设置 crontab 配置指南

摘要： ps -ax | grep cron crontab -u root -e /sbin/service crond restart bakmysql.sh tar cvf /var/backups/mysql/mysql-`date '+%Y%m%d%H%M%S'`.tar -c /opt/mysq 阅读全文

posted @ 2017-08-11 09:42 adolfmc 阅读(262) 评论(0) 推荐(0) 编辑

centos下mysql自动备份

摘要： #!/bin/bashdb_user="root"db_passwd="123456"db_name="test_db"#进入备份目录将之前的移动到old目录cd /mnt/backup/bakmysqlecho "you are in bakmysql directory now"mv test_ 阅读全文

posted @ 2017-08-11 09:42 adolfmc 阅读(278) 评论(0) 推荐(0) 编辑

2017年8月9日

Linux下查看文件和文件夹大小

摘要：当磁盘大小超过标准时会有报警提示，这时如果掌握df和du命令是非常明智的选择。 df可以查看一级文件夹大小、使用比例、档案系统及其挂入点，但对文件却无能为力。 du可以查看文件及文件夹的大小。两者配合使用，非常有效。比如用df查看哪个一级目录过大，然后用df查看文件夹或文件的大小，如此便可迅速确定阅读全文

posted @ 2017-08-09 09:46 adolfmc 阅读(221) 评论(0) 推荐(0) 编辑

2017年8月3日

在 CentOS7 上安装 Zookeeper-3.4.9 服务

摘要：在 CentOS7 上安装 zookeeper-3.4.9 服务 1、创建 /usr/local/services/zookeeper 文件夹： mkdir -p /usr/local/services/zookeeper 2、进入到 /usr/local/services/zookeeper 目录阅读全文

posted @ 2017-08-03 18:41 adolfmc 阅读(288) 评论(0) 推荐(0) 编辑

2017年8月1日

spring boot下使用logback或log4j生成符合Logstash标准的JSON格式

摘要：使用logback 1.引入logstash日志格式支持 <dependency><groupId>net.logstash.logback</groupId><artifactId>logstash-logback-encoder</artifactId><version>4.4</version 阅读全文

posted @ 2017-08-01 13:25 adolfmc 阅读(787) 评论(0) 推荐(0) 编辑

slf4j、jcl、jul、log4j1、log4j2、logback大总结

摘要： 1 系列目录 jdk-logging、log4j、logback日志介绍及原理 commons-logging与jdk-logging、log4j1、log4j2、logback的集成原理 slf4j与jdk-logging、log4j1、log4j2、logback的集成原理 slf4j、jcl、阅读全文

posted @ 2017-08-01 10:37 adolfmc 阅读(945) 评论(0) 推荐(0) 编辑

Jar包冲突解决方法

摘要：前言对于Jar包冲突问题，我们开发人员经常都会有碰到，当我们使用一些jar包中的类、方法等，或者有时遇到一些日志系统的问题（参考另一篇文章Jar包冲突导致的日志问题），我们会遇到ClassNotFoundException，NoSuchFieldException，NoSuchMethodExce 阅读全文

posted @ 2017-08-01 10:25 adolfmc 阅读(12896) 评论(0) 推荐(1) 编辑

2017年7月31日

在CentOS 7上安装Nginx服务器

摘要：下面我就我在CentOS上安装Nginx经验做简单的记录，以备后查。 1、下载nginx-release包以CentOS 7为例，下载nginx软件包：http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.e 阅读全文

posted @ 2017-07-31 19:19 adolfmc 阅读(295) 评论(0) 推荐(0) 编辑

CentOS7安装 Apache HTTP 服务器

摘要： CentOS7安装 Apache HTTP 服务器 CentOS7安装 Apache HTTP 服务器时间:2015-05-02 00:45来源:linux.cn 作者:linux.cn 举报点击:11457次不管你因为什么原因使用服务器，大部分情况下你都需要一个 HTTP 服务器运行网站、多阅读全文

posted @ 2017-07-31 11:07 adolfmc 阅读(455) 评论(0) 推荐(0) 编辑

2017年7月28日

SSH连接linux时，长时间不操作就断开的解决方案

摘要：转自：http://www.cnblogs.com/jifeng/archive/2011/06/25/2090118.html 修改/etc/ssh/sshd_config文件，找到 ClientAliveInterval 0和ClientAliveCountMax 3并将注释符号（"#"）去掉, 阅读全文

posted @ 2017-07-28 09:36 adolfmc 阅读(8397) 评论(2) 推荐(0) 编辑

2017年7月26日

使用 VisualVM 进行性能分析及调优

摘要： https://www.ibm.com/developerworks/cn/java/j-lo-visualvm/ 阅读全文

posted @ 2017-07-26 11:56 adolfmc 阅读(135) 评论(0) 推荐(0) 编辑

2017年7月21日

数据库乱码,频繁中断

摘要： datasource: driverClassName: com.mysql.jdbc.Driver url: jdbc:mysql://*****:3306/pre?useUnicode=true&characterEncoding=UTF-8&useSSL=false&autoReconnect 阅读全文

posted @ 2017-07-21 17:00 adolfmc 阅读(139) 评论(0) 推荐(0) 编辑

2017年7月3日

mysql 查看数据库中所有表的记录数

摘要： use information_schema; select table_name,table_rows from tables where TABLE_SCHEMA = 'fxd-main' order by table_rows desc; 阅读全文

posted @ 2017-07-03 20:11 adolfmc 阅读(372) 评论(0) 推荐(0) 编辑

MySQL数据库设置远程访问权限方法小结

摘要： http://www.jb51.net/article/42441.htm MySQL基础知识第一期，如何远程访问MySQL数据库设置权限方法总结，讨论访问单个数据库，全部数据库，指定用户访问，设置访问密码，指定访问主机。 1，设置访问单个数据库权限复制代码代码如下: mysql>grant al 阅读全文

posted @ 2017-07-03 06:58 adolfmc 阅读(954) 评论(0) 推荐(0) 编辑

详解使用DockerHub官方的mysql镜像生成容器

摘要：详解使用DockerHub官方的mysql镜像生成容器收藏 yope 发表于 10个月前阅读 1506 收藏 32 点赞 1 评论 0 详解使用DockerHub官方的mysql镜像生成容器收藏 yope 发表于 10个月前阅读 1506 收藏 32 点赞 1 评论 0 收藏收藏 yope 阅读全文

posted @ 2017-07-03 06:48 adolfmc 阅读(4797) 评论(0) 推荐(2) 编辑

2017年6月30日

Docker的安装和使用说明——Docker for Windows

摘要： Docker的安装和使用说明——Docker for Windows 一、Docker安装 1.1官方方法官方下载页面：http://www.docker.com/products/docker#/windows 官方下载地址：https://download.docker.com/win/sta 阅读全文

posted @ 2017-06-30 08:14 adolfmc 阅读(582) 评论(0) 推荐(0) 编辑

2017年6月27日

CentOS7安装Docker与使用篇

摘要：一、在CentOS7上安装Docker篇 1. 查看系统版本： $ cat /etc/redhat-release CentOS Linux release 7.0.1406 (Core) 2. 安装docker $ yum install docker 安装过程中报错： Transaction c 阅读全文

posted @ 2017-06-27 15:29 adolfmc 阅读(3293) 评论(0) 推荐(0) 编辑

2017年6月3日

正则提取字符串中的字符串

摘要： String regEx = "(?<=\\[)[\\S\\s]+(?=\\])"; Pattern p = Pattern.compile(regEx); Matcher m = p.matcher(line); boolean result = m.find(); System.out.prin 阅读全文

posted @ 2017-06-03 23:54 adolfmc 阅读(894) 评论(0) 推荐(0) 编辑

java parse 带英文单词的日期字符串转 date （转化新浪微博api返回的时间）

摘要：拂晓风起专注前端技术cocos2d、js、flash、html5，联系：kenkofox@qq.com。如果读者要找腾讯工作机会，请不吝推荐简历。拂晓风起专注前端技术cocos2d、js、flash、html5，联系：kenkofox@qq.com。如果读者要找腾讯工作机会，请不吝推荐简历。阅读全文

posted @ 2017-06-03 23:20 adolfmc 阅读(4233) 评论(0) 推荐(0) 编辑

2017年2月28日

mysql function 中使用游标

摘要： create function p_t1(tid varchar(20))returns varchar(200)begin declare tmpName varchar(50) default ''; declare allName varchar(200) default ''; declar 阅读全文

posted @ 2017-02-28 09:22 adolfmc 阅读(408) 评论(0) 推荐(0) 编辑

1418 This function has none of DETERMINISTIC,NO SQL,or R

摘要：标签： [err]1418 函数创建报错分类：菜鸟DBA之MySQL [err]1418 函数创建报错本文为个人笔记，仅供参考,希望对您的疑问有所帮助。欢迎转载，转载请注明出处。谢谢! 错误信息: [Err] 1418 - This function has none of DETERMINI 阅读全文

posted @ 2017-02-28 09:21 adolfmc 阅读(226) 评论(0) 推荐(0) 编辑

2017年2月6日

mysql 用户管理和权限设置

摘要：用户管理 mysql>use mysql; 查看 mysql> select host,user,password from user ; 创建 mysql> create user zx_root IDENTIFIED by 'xxxxx'; //identified by 会将纯文本密码加密作为阅读全文

posted @ 2017-02-06 06:46 adolfmc 阅读(214) 评论(0) 推荐(0) 编辑

2016年12月20日

mysql 导入text 到数据库

摘要： load data local infile 'f:/PhoneLocation_201601.327665.txt' into table sys_t_phone_area fields terminated by ',' enclosed by '"'lines terminated by '\ 阅读全文

posted @ 2016-12-20 19:46 adolfmc 阅读(925) 评论(0) 推荐(0) 编辑

2016年12月4日

MYSQL 解锁与锁表

摘要：解锁第一种 show processlist; 找到锁进程，kill id ; 第二种 mysql>UNLOCK TABLES; 锁表锁定数据表，避免在备份过程中，表被更新 mysql>LOCK TABLES tbl_name READ; 为表增加一个写锁定： mysql>LOCK TABLES 阅读全文

posted @ 2016-12-04 18:03 adolfmc 阅读(3775) 评论(0) 推荐(0) 编辑

2016年12月3日

Spring 整合 Redis

摘要： http://blog.csdn.net/java2000_wl/article/details/8543203/ pom构建： [html] view plain copy print? <modelVersion>4.0.0</modelVersion> <groupId>com.x.redis 阅读全文

posted @ 2016-12-03 12:27 adolfmc 阅读(357) 评论(0) 推荐(0) 编辑

如何应对网站反爬虫策略？如何高效地爬大量数据?

摘要：像一些大型的网站会有反爬虫策略…比如我之前在爬淘宝评论后很快就会被封，大概是短时间爬太多…有什么好的策略吗？比如代理？不过感觉代理也不能稳定吧… 1楼（未知网友）我们生活在信息爆炸的时代，穷尽一个人的一生也无法浏览完万分之一的网络信息。那如果给你猜，你会觉得整个互联网的流量里，非人类的比例有多大？是阅读全文

posted @ 2016-12-03 12:26 adolfmc 阅读(12764) 评论(1) 推荐(1) 编辑

2016年11月29日

MySQL max_allowed_packet设置及问题

摘要： MySQL根据配置文件会限制server接受的数据包大小。有时候大的插入和更新会被max_allowed_packet 参数限制掉，导致失败。查看目前配置 show VARIABLES like '%max_allowed_packet%'; show VARIABLES like '%max_ 阅读全文

posted @ 2016-11-29 20:35 adolfmc 阅读(263) 评论(0) 推荐(0) 编辑

Linux下如何查看哪个进程占用内存多？

摘要： 1、top top命令是Linux下常用的性能分析工具，能够实时显示系统中各个进程的资源占用状况，类似于Windows的任务管理器可以直接使用top命令后，查看%MEM的内容。可以选择按进程查看或者按用户查看，如想查看oracle用户的进程内存使用情况的话可以使用如下的命令： $ top -u o 阅读全文

posted @ 2016-11-29 10:23 adolfmc 阅读(15927) 评论(0) 推荐(1) 编辑

2016年11月28日

Jetty 的工作原理以及与 Tomcat 的比较

摘要： Jetty 的基本架构 Jetty 目前的是一个比较被看好的 Servlet 引擎，它的架构比较简单，也是一个可扩展性和非常灵活的应用服务器，它有一个基本数据模型，这个数据模型就是 Handler，所有可以被扩展的组件都可以作为一个 Handler，添加到 Server 中，Jetty 就是帮你管理阅读全文

posted @ 2016-11-28 15:52 adolfmc 阅读(735) 评论(0) 推荐(2) 编辑

2016年11月27日

mysql 更改默认数据目录

摘要： http://www.cnblogs.com/chenny7/p/3642363.html 本文主要介绍在CentOS下通过yum命令安装MySQL之后，如何移动默认数据目录到指定位置。安装mysql： Mysql 安装之后默认的数据文件存储目录为/var/lib/mysql。假如要把目录移到/ 阅读全文

posted @ 2016-11-27 17:37 adolfmc 阅读(8194) 评论(0) 推荐(0) 编辑

2016年11月23日

MySQL max_allowed_packet设置及问题

摘要： MySQL根据配置文件会限制server接受的数据包大小。有时候大的插入和更新会被max_allowed_packet 参数限制掉，导致失败。查看目前配置 show VARIABLES like '%max_allowed_packet%'; show VARIABLES like '%max_ 阅读全文

posted @ 2016-11-23 13:48 adolfmc 阅读(727) 评论(2) 推荐(0) 编辑

2016年11月22日

oracle linux 启动

posted @ 2016-11-22 17:27 adolfmc 阅读(126) 评论(0) 推荐(0) 编辑