2019 年 7月随笔档案 - 曹伟雄

Java日志体系（六）log4j2

摘要：1.1 简介 log4j2，一个日志的实现框架，是log4j的升级版本，于2014年7月正式亮相。与第一代log4j不同，log4j2完全重写了log4j的日志实现，并不是在原有基础上进行的升级，解决了log4j中的一些问题，例如：多线程下性能低下、api不支持占位符{}的使用、配置文件不能自动重新阅读全文

posted @ 2019-07-30 23:36 曹伟雄阅读(2650) 评论(0) 推荐(1) 编辑

Java日志体系（五）logback

摘要：1.1 简介师出同门，与log4j一样，logback也是由Ceki Gülcü开发的开源日志组件，可以说是log4j的改进版；在现如今的项目中，logback的出现次数越来越多，是目前主流首选的日志记录工具。 1.2 logback结构 logback分成三个模块：logback-core，lo 阅读全文

posted @ 2019-07-30 23:23 曹伟雄阅读(882) 评论(0) 推荐(0) 编辑

Java日志体系（四）slf4j

摘要：1.1 简介与commons-logging相同，slf4j也是一个通用的日志接口，在程序中与其他日志框架结合使用，并对外提供服务。 Simple Logging Facade for Java简称 slf4j，Java简单日志门面系统。在我们的代码中，不需要显式指定具体日志框架(例如：java. 阅读全文

posted @ 2019-07-30 23:04 曹伟雄阅读(1933) 评论(0) 推荐(0) 编辑

Java日志体系（三）commons-logging

摘要：1.1 简介 Apache Commons Logging，又名JakartaCommons Logging (JCL)，它是Apache提供的一个通用的日志接口，它的出现避免了和具体的日志方案直接耦合；在日常开发中，developer可以选择第三方日志组件进行搭配使用，例如log4j、logbac 阅读全文

posted @ 2019-07-30 22:39 曹伟雄阅读(1314) 评论(0) 推荐(0) 编辑

Java日志体系（二）log4j

摘要：1.1 简介 Log4j是一个由Java编写可靠、灵活的日志框架，是Apache旗下的一个开源项目；使用Log4j，我们更加方便的记录了日志信息，它不但能控制日志输出的目的地，也能控制日志输出的内容格式；通过定义不同的日志级别，可以更加精确的控制日志的生成过程，从而达到我们应用的需求；这一切，都得阅读全文

posted @ 2019-07-30 22:02 曹伟雄阅读(1779) 评论(0) 推荐(1) 编辑

Hadoop集群安装压缩工具Snappy，用于Hbase

摘要：最近项目中要用到Hadoop和Hbase，为了节省服务器的存储成本，并提高吞吐，安装并开启HBase的数据压缩为Snappy。主流的HBase压缩方式有GZip | LZO | Snappy，Snappy的压缩比会稍微优于LZO。相比于gzip，Snappy压缩率不如gzip，但是压缩和解压缩速度阅读全文

posted @ 2019-07-30 15:31 曹伟雄阅读(1148) 评论(0) 推荐(0) 编辑

Hadoop、Hbase —— 服务启动、验证、停止

摘要：一、Hadoop 1、启动Hadoop 启动过程如下： 2、验证Hadoop是否启动成功 2.1、在主节点上用jps命令可以看到SecondaryNameNode和NameNode进程： 2.2、在任一子节点上hadoop2或者hadoop3用jps命令可以查看到DataNode进程 2.3、作为进阅读全文

posted @ 2019-07-30 11:22 曹伟雄阅读(3904) 评论(0) 推荐(0) 编辑

Spring-kafka —— 生产者消费者重要配置

摘要：一、生产者配置属性描述类型默认值重要性 bootstrap.servers 用于建立与kafka集群的连接，这个list仅仅影响用于初始化的hosts，来发现全部的servers。格式：host1:port1,host2:port2,…，数量尽量不止一个，以防其中一个down了 list 阅读全文

posted @ 2019-07-15 10:27 曹伟雄阅读(3042) 评论(0) 推荐(0) 编辑

Spring-Kafka —— 实现批量消费和手动提交offset

摘要：spring-kafka的官方文档介绍，可以知道自1.1版本之后， @KafkaListener开始支持批量消费，只需要设置batchListener参数为true 把application.yml中的enable-auto-commit设置为false,设置为不自动提交这里containerFa 阅读全文

posted @ 2019-07-15 10:15 曹伟雄阅读(18982) 评论(4) 推荐(1) 编辑

Spring-Kafka —— 消费重试机制实现

摘要：消息处理问题在从Kafka主题接收消息之后立即处理消息的消费者的实现非常简单。不幸的是，现实要复杂得多，并且由于各种原因，消息处理可能会失败。其中一些原因是永久性问题，例如数据库约束失败或消息格式无效。其他，如消息处理中涉及的依赖系统的临时不可用，可以在将来解决。在这些情况下，重试消息处理可能是一阅读全文

posted @ 2019-07-13 18:07 曹伟雄阅读(13718) 评论(2) 推荐(3) 编辑

Spring-Kafka —— 消费如何达到最高的吞吐量

摘要：首先简单的介绍一下消费者对topic的订阅。客户端的消费者订阅了topic后，如果是单个消费者，那么消费者会顺序消费这些topic分区中的数据，如果是创建了消费组有多个消费者,那么kafak的服务端将这些topic平均分配给每个消费者。比如有2个topic,每个topic有2个分区，总共有4个分区，阅读全文

posted @ 2019-07-13 17:46 曹伟雄阅读(2862) 评论(0) 推荐(0) 编辑

Spring-Kafka —— AckMode介绍和手动提交分析总结

摘要：前言本文主要讲述一下spring for kafka的consumer在spring.kafka.consumer.enable-auto-commit是false情况下，AckMode的选项，及手动提交分析总结。 AckMode RECORD 每处理一条commit一次 BATCH(默认) 每次阅读全文

posted @ 2019-07-13 17:44 曹伟雄阅读(9291) 评论(0) 推荐(2) 编辑

Spring-Kafka —— KafkaListener定时启动和停止

摘要：一、定时启动的应用场景比如现在单机环境下，我们需要利用Kafka做数据持久化的功能，由于用户活跃的时间为早上10点至晚上12点，那在这个时间段做一个大数据量的持久化可能会影响数据库性能导致用户体验降低，我们可以选择在用户活跃度低的时间段去做持久化的操作，也就是晚上12点后到第二条的早上10点前。阅读全文

posted @ 2019-07-13 17:33 曹伟雄阅读(6759) 评论(1) 推荐(1) 编辑

Spring-Kafka —— KafkaListener禁止自启动

摘要：应用服务启动时，KafkaListener默认会自动启动进行消费，如果想不自动消费，可以设置AutoStartup属性值为false 完整消费代码vk 阅读全文

posted @ 2019-07-13 17:28 曹伟雄阅读(6200) 评论(0) 推荐(0) 编辑

Spring-Kafka —— KafkaListener手动启动和停止

摘要：一、KafkaListener消费二、使用KafkaListenerEndpointRegistry实现启动和停止功能三、Controller 四、JSP界面五、功能界面阅读全文

posted @ 2019-07-13 17:17 曹伟雄阅读(13047) 评论(1) 推荐(0) 编辑

Spring + MyBatis 框架下处理数据库异常

摘要：一、概述使用JDBC API时，很多操作都要声明抛出java.sql.SQLException异常，通常情况下是要制定异常处理策略。而Spring的JDBC模块为我们提供了一套异常处理机制，这套异常系统的基类是DataAccessException，它是RuntimeException的一种类型，阅读全文

posted @ 2019-07-13 16:43 曹伟雄阅读(11550) 评论(0) 推荐(1) 编辑

Spring Boot 2.0 集成 Druid 数据源

摘要：一、Maven项目依赖二、配置文件由于使用了SpringBoot，所以大部分不需要我们手动配置，只需要进行简单的指定数据源等必要的配置：三、测试在配置中，我们把监控平台的路径设置为/druid/*，用户和密码为：admin/admin http://localhost:8080/xxxx/d 阅读全文

posted @ 2019-07-13 16:25 曹伟雄阅读(473) 评论(0) 推荐(0) 编辑

曹伟雄

07 2019 档案