uuhh

2018年12月22日

摘要： FTP：基础概念及使用最近需要做FTP相关的API给业务人员使用，所以了解咯下FTP。FTP是基于TCP协议，位于第五层（应用层）。FTP工作建立两条socket链路：1.控制链路（命令链路）；2.数据链路；12控制链路总是由ftp-client(以下统称client)向ftp-server(以下统阅读全文

posted @ 2018-12-22 21:13 uuhh 阅读(1983) 评论(0) 推荐(0) 编辑

通过字段查询是否有重复的记录

摘要： select cardinfo_id,issure_date, count(1) as count from so_android_hour where issure_date>='2018-12-21 23:00:00' and issure_date<='2018-12-22 09:00:00' 阅读全文

posted @ 2018-12-22 09:34 uuhh 阅读(257) 评论(0) 推荐(0) 编辑

2018年12月20日

java.lang.UnsupportedOperationException

摘要： List<JSONObject> collect = parseObject.collect(); ArrayList<JSONObject> arrayList = new ArrayList<JSONObject>(collect);//没有此转换会java.lang.UnsupportedOp 阅读全文

posted @ 2018-12-20 12:59 uuhh 阅读(1686) 评论(0) 推荐(0) 编辑

mybatis批量插入

摘要： <resultMap id="BaseResultMap" type="com.bmac.entity.SoAndroidHour"> <id column="id" jdbcType="BIGINT" property="id" /> <result column="cardinfo_id" jd 阅读全文

posted @ 2018-12-20 11:04 uuhh 阅读(269) 评论(0) 推荐(0) 编辑

2018年12月17日

空指针异常，源头没有值

摘要：阅读全文

posted @ 2018-12-17 17:32 uuhh 阅读(141) 评论(0) 推荐(0) 编辑

2018年12月16日

NoSuchMethodError:因为jar包版本冲突造成

摘要：：Exception in thread "main" java.lang.NoSuchMethodError: org.slf4j.MDC.getCopyOfContextMap()Ljava/util/Map，这是因为jar包版本冲突造成的阅读全文

posted @ 2018-12-16 13:44 uuhh 阅读(623) 评论(0) 推荐(0) 编辑

2018年12月14日

Exception in thread "main" java.lang.NoClassDefFoundError: kafka/serializer/StringDecoder

摘要：提交spark任务报错：Exception in thread "main" java.lang.NoClassDefFoundError: kafka/serializer/StringDecoder 解决：maven依赖中去掉provided标签。打包会一起打阅读全文

posted @ 2018-12-14 11:27 uuhh 阅读(2081) 评论(0) 推荐(0) 编辑

eclipse一闪而过

摘要：再eclipse.ini中的-vmargs前添加如下配置：-vm jdk路径 -vmC:\Program Files\Java\jdk1.8.0_92\bin\java.exe 阅读全文

posted @ 2018-12-14 09:41 uuhh 阅读(110) 评论(0) 推荐(0) 编辑

maven执行顺序：

摘要：执行顺序： 1、使用清理插件：maven-clean-plugin:2.5执行清理删除已有target目录（版本2.5）； 2、使用资源插件：maven-resources-plugin:2.6执行资源文件的处理（版本2.6）； 3、使用编译插件：maven-compiler-plugin:3.1编阅读全文

posted @ 2018-12-14 01:39 uuhh 阅读(3502) 评论(0) 推荐(0) 编辑

2018年12月13日

maven打包

摘要： <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-assembly-plugin</artifactId> <version>2.6</version> <configur 阅读全文

posted @ 2018-12-13 22:07 uuhh 阅读(164) 评论(0) 推荐(0) 编辑

Description Resource Path Location Type Project configuration is not up-to-d

摘要：右键项目，【Maven】–》【Update Project Configuration…】阅读全文

posted @ 2018-12-13 21:48 uuhh 阅读(4058) 评论(0) 推荐(0) 编辑

GoldenGate

摘要： GoldenGate软件是一种基于日志的结构化数据复制软件。GoldenGate 能够实现大量交易数据的实时捕捉、变换和投递，实现源数据库与目标数据库的数据同步，保持亚秒级的数据延迟 GoldenGate能够支持多种拓扑结构，包括一对一，一对多，多对一，层叠和双向复制等等。阅读全文

posted @ 2018-12-13 20:08 uuhh 阅读(537) 评论(0) 推荐(0) 编辑

maven打包把要的依赖也打进去配置

摘要： <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <configuration> <source>1.8</sou 阅读全文

posted @ 2018-12-13 19:13 uuhh 阅读(7256) 评论(0) 推荐(0) 编辑

mysql如何优化where子句

摘要： 1.where中去除不必要的括号 2.常量重叠 3.去除常量条件 4.对连接内的表，构造更简单的where以便对表进行计算，并尽快跳过记录 5.常数的表再查询中比其他表先独处。常数表是空表或只有一行的表阅读全文

posted @ 2018-12-13 17:31 uuhh 阅读(332) 评论(0) 推荐(0) 编辑

根据状态计算操作状态

摘要： private int getOperStatus(int status){ int operStatus=-1; if(status==1){ if( "2".equals(manual)){ operStatus=2; } if( "0".equals(manual)){ operStatus= 阅读全文

posted @ 2018-12-13 10:52 uuhh 阅读(356) 评论(0) 推荐(0) 编辑

2018年12月12日

kafka direct模式

摘要：保证一次性不适用zookeeper存储偏移量，消费的偏移量由流自己跟踪。但仍然依赖于zookeeper来协同工作。你可以自己选择处理偏移量。信息消费的偏移量能从检查点恢复。端到端语义：此流确保每个记录都得到有效接收转换一次，但不保证转换后的数据是否正确输出一次。对于端到端的一次性语义，您必须阅读全文

posted @ 2018-12-12 17:12 uuhh 阅读(744) 评论(0) 推荐(0) 编辑

2018年12月11日

Kafka Connect

摘要： Kafka 0.9+增加了一个新的特性Kafka Connect ,可以更方便的创建和管理数据流管道。它为Kafka和其它系统创建规模可扩展的、可信赖的流数据提供了一个简单的模型，通过connectors 可以将大数据从其它系统导入到Kafka中，也可以从Kafka中导出到其它系统。Kafka Co 阅读全文

posted @ 2018-12-11 17:13 uuhh 阅读(243) 评论(0) 推荐(0) 编辑

Kafka Streams

摘要： Kafka Streams直接解决了在流处理中会遇到的很多难题：一次一件事件的处理(而不是microbatch)，延迟在毫秒有状态的处理，包括分布式join和aggregation 一个方便的DSL 使用类似于DataFlow的模型来处理乱序数据的windowing问题分布式处理，并且有容错机阅读全文

posted @ 2018-12-11 17:10 uuhh 阅读(148) 评论(0) 推荐(0) 编辑

如何看源码

摘要：直接自开放原始码专案中抽取，提炼出自己所需的程序码。阅读源码的重点：有效率的通过探索阅读，有层次的了解架构。探索架构的第一件事，找到系统如何初始化。目标是要界定其中的角色，以及角色间的动静态关系。熟悉程序语法。找到程序入口。望文生义。适度忽略不需了解的细节。阅读源码的兴趣，通过程序了解作阅读全文

posted @ 2018-12-11 15:21 uuhh 阅读(151) 评论(0) 推荐(0) 编辑

maven如何管理项目，项目结构

摘要：所有用Maven管理的真实的项目都应该是分模块的，每个模块都对应着一个pom.xml。它们之间通过继承和聚合 maven target目录，表示打包输出目录 maven classes目录，编译输出目录 maven /src/main/resources目录，项目资源目录 maven src/mai 阅读全文

posted @ 2018-12-11 14:54 uuhh 阅读(678) 评论(0) 推荐(0) 编辑

2018年12月10日

groupby 和left join

摘要： select * from so_android_hour sah group by open_third_party left join so_plan sp on sah.open_third_party=sp.sell_no limit 10; 词条语句报错：You have an error 阅读全文

posted @ 2018-12-10 23:04 uuhh 阅读(1581) 评论(0) 推荐(0) 编辑

zookeeper命令

摘要： create [-s] [-e] path data acl其中，-s或-e分别指定节点特性，顺序或临时节点，若不指定，则表示持久节点；acl用来进行权限控制。创建永久节点 create /admin 123 create /broker 123 阅读全文

posted @ 2018-12-10 11:47 uuhh 阅读(164) 评论(0) 推荐(0) 编辑

2018年12月9日

mvn 命令

摘要： mvn clean package 阅读全文

posted @ 2018-12-09 22:38 uuhh 阅读(108) 评论(0) 推荐(0) 编辑

maven provided

摘要：代码编译的时候对于scope=compile的情况（默认scope),也就是说这个项目在编译，测试，运行阶段都需要这个artifact对应的jar包在classpath中。而对于scope=provided的情况，则可以认为这个provided是目标容器已经provide这个artifact。阅读全文

posted @ 2018-12-09 21:29 uuhh 阅读(1595) 评论(0) 推荐(0) 编辑

idea快捷键补全

摘要： ctrl+alt+v 自动返回对象 psvm main方法 alt+enter手动选择包 nc -l 9000 阅读全文

posted @ 2018-12-09 20:40 uuhh 阅读(328) 评论(0) 推荐(0) 编辑

idea常用快捷键

摘要：【调试部分、编译】【重构】【查找】【VCS】阅读全文

posted @ 2018-12-09 20:24 uuhh 阅读(309) 评论(0) 推荐(0) 编辑

flink对比

摘要：阅读全文

posted @ 2018-12-09 19:46 uuhh 阅读(209) 评论(0) 推荐(0) 编辑

flink流处理内容

摘要： Flink核心是一个流式的数据流执行引擎,其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能 Flink提供了诸多更高抽象层的API以便用户编写分布式任务: DataSet API, 对静态数据进行批处理操作,将静态数据抽象成分布式的数据集,用户可以方便地使用Flink提供的各种操作阅读全文

posted @ 2018-12-09 13:38 uuhh 阅读(4200) 评论(0) 推荐(0) 编辑

2018年12月8日

flink介绍

摘要： flink介绍：为世界上一些最苛刻的流处理应用程序提供支持是一个框架，也是一个计算引擎。对无界和有界数据流进行有状态计算。设计为在所有常见集群中，以内存速度和任何规模计算。任何类型的数据都是事件流，信用卡交易，传感器测量，机器日志或网站或移动应用上的用户交互。这些数据都是流。 1.无界流有一个开阅读全文

posted @ 2018-12-08 19:57 uuhh 阅读(590) 评论(0) 推荐(0) 编辑

solr

摘要： solr没有更新，只能先删除，再添加。如果id重复，则覆盖根据id删除，使用xml的<delete>标签使用<commit/>才能删除 1、根据id删除： <delete> <id>test001</id> </delete> <commit/> 2、根据查询删除： <delete> <que 阅读全文

posted @ 2018-12-08 19:09 uuhh 阅读(142) 评论(0) 推荐(0) 编辑

2018年12月7日

Maven project选择archetype

摘要：新建Maven project项目时，需要选择archetype。 Artifact是什么? (What is an artifact?)Artifact是你的项目资产的一个集合, 将他们项目中的文件放在一起去测试, 部署或者描述你的软件解决方案, 又或是项目的一部分. 那么，什么是archetyp 阅读全文

posted @ 2018-12-07 09:27 uuhh 阅读(1331) 评论(0) 推荐(0) 编辑

2018年12月6日

linux挂在win共享文件

摘要： 1.先设置共享文件，再网络中查看，有目录则共享成功 2.yum samba-client （linux系统和win系统共享协议的包） 3.yum install cifs-utils 此外还要安装这个包，安装好之后查找确认一下 4 新建挂载点首先需要到linux系统，新建一个挂载点分区。比如 /d 阅读全文

posted @ 2018-12-06 22:39 uuhh 阅读(191) 评论(0) 推荐(0) 编辑

coordinator是依赖zookeeper来实现对于consumer group的管理的。0.9版本的kafka改进了coordinator的设计，提出了group coordinator

摘要：首先是0.8版本的coordinator，那时候的coordinator是依赖zookeeper来实现对于consumer group的管理的。Coordinator监听zookeeper的/consumers/<group>/ids的子节点变化以及/brokers/topics/<topic>数据阅读全文

posted @ 2018-12-06 17:25 uuhh 阅读(375) 评论(0) 推荐(0) 编辑

2018年12月4日

java重构原则

摘要： 1.合并条件表达式：一系列表达式得到同一个结果，将这些结果测试合并为一个表达式 * 2.嵌套内的if else和最外层并没有什么关联性，完全可以提取到最顶层，改为平行关系，而非包含。废除 * 临时变量，直接return * 3.减少嵌套和移除临时变量，维持正常流程代码再最外层。将条件反转，使异常状况阅读全文

posted @ 2018-12-04 22:43 uuhh 阅读(955) 评论(0) 推荐(0) 编辑

写if-else不外乎两种场景：异常逻辑处理和不同状态处理。

摘要：写if-else不外乎两种场景：异常逻辑处理和不同状态处理。异常逻辑处理说明只能一个分支是正常流程,而不同状态处理都所有分支都是正常流程。第一个例子`if (obj != null)`是异常处理,是代码健壮性判断,只有if里面才是正常的处理流程，`else`分支是出错处理流程第二个例子不管ty 阅读全文

posted @ 2018-12-04 22:26 uuhh 阅读(1266) 评论(0) 推荐(0) 编辑

getStatus

摘要： private int getStatus(double nowvalue) { String status = jedis.get("status"); //从redis获取报警指标 double quotaWarning=Double.valueOf(jedis.get("quotaWarnin 阅读全文

posted @ 2018-12-04 19:01 uuhh 阅读(1339) 评论(0) 推荐(0) 编辑

kafka选择分区的原则：

摘要：选择分区的原则： 1.主题需要多大的吞吐量，是希望每秒写入100kb,还是1GB 2.从单个分区读取数据的最大吞吐量，数据写入数据库的速度不会超过每秒50M,所以从一个分区读数据的速度也不要超过50M 3.可以估算生产者向单个分区写入数据的吞吐量，生产者的速度一般比消费者快，最高为生产者多估算一些量阅读全文

posted @ 2018-12-04 17:33 uuhh 阅读(2397) 评论(0) 推荐(0) 编辑

使用生产者内置的重试机制可以在不造成消息丢失的情况下轻松地处理大部分错误

摘要：不过对于开发人员来说，仍然需要处理其他类型的错误，包括：• 不可重试的 broker 错误，例如消息大小错误、认证错误等 3. 在消息发送之前发生的错误，例如序列化错误：• 在生产者达到重试次数上限时或者在消息占用的内存达到上限时发生的错误。消费者在自动提交偏移量之前停止处理消息--无法控制重复处阅读全文

posted @ 2018-12-04 16:52 uuhh 阅读(173) 评论(0) 推荐(0) 编辑

mybatis 中collection中需要 open close separator

摘要： mybatis 中collection中需要 open close separator <result property="openFactories" column="open_factories" /> The content of element type "resultMap" must m 阅读全文

posted @ 2018-12-04 15:50 uuhh 阅读(1039) 评论(0) 推荐(0) 编辑

kafka常用命令

摘要：运行控制台使用者来查看主题中的数据（或使用自定义使用者代码来处理它）： ./kafka-console-consumer.sh --bootstrap-server 172.16.7.140:9092,172.16.7.141:9092,172.16.7.142:9092 --topic tbl_i 阅读全文

posted @ 2018-12-04 08:54 uuhh 阅读(454) 评论(0) 推荐(0) 编辑

公告