Bigben - 博客园

2019年1月11日

摘要： Flink部署-standalone模式 2018年11月30日 00:07:41 Xlucas 阅读数：74 Flink部署-standalone模式 2018年11月30日 00:07:41 Xlucas 阅读数：74 Flink部署-standalone模式 Flink部署-standalon 阅读全文

posted @ 2019-01-11 10:38 Bigben 阅读(1961) 评论(0) 推荐(0) 编辑

如何确定Kafka的分区数、key和consumer线程数

摘要：【原创】如何确定Kafka的分区数、key和consumer线程数在Kafak中国社区的qq群中，这个问题被提及的比例是相当高的，这也是Kafka用户最常碰到的问题之一。本文结合Kafka源码试图对该问题相关的因素进行探讨。希望对大家有所帮助。怎么确定分区数？ “我应该选择几个分区？”——如果你阅读全文

posted @ 2019-01-11 09:53 Bigben 阅读(778) 评论(0) 推荐(0) 编辑

2018年12月29日

elasticsearch5之Elastalert 安装使用配置邮件报警和微信报警

摘要：简介 Elastalert是用python2写的一个报警框架(目前支持python2.6和2.7，不支持3.x)，github地址为 https://github.com/Yelp/elastalert。他提供不同场景的规则配置，若觉得规则、告警不满足需求时，可以用python编写插件Adding 阅读全文

posted @ 2018-12-29 16:03 Bigben 阅读(1534) 评论(0) 推荐(0) 编辑

2018年12月28日

Forget Guava: 5 Google Libraries Java Developers Should Know

摘要： Forget Guava: 5 Google Libraries Java Developers Should Know Published on 2016 7 13 Somenath PandaFollow Somenath PandaFollow Somenath PandaFollow If 阅读全文

posted @ 2018-12-28 17:11 Bigben 阅读(231) 评论(0) 推荐(0) 编辑

2018年12月27日

centos 修改主机名

摘要：好多错误都是修改主机名导致。默认的localhost没有了导致。如flink，wildfly 0.说明系统安装后，系统默认的主机名称是localhost,现在想要修改为master。操作需要root权限。 1.方案一：仅当前登录有效，重启后失效直接在命令行执行命令，一步完成： 2.方案二：修改阅读全文

posted @ 2018-12-27 16:41 Bigben 阅读(576) 评论(0) 推荐(0) 编辑

apache beam ElasticSearchIO 遇到异常后job中断执行自己定制beam IO

摘要：可以将 ElasticSearchIO.java 源码拷贝至自己的项目。改名为MyElasticSearchIO.java。自己定制实现。这时编译会遇到auto.value失败。在pom.xml中加入如下依赖：报错是在flushBatch里面的checkForErrors出现。阅读全文

posted @ 2018-12-27 10:34 Bigben 阅读(318) 评论(0) 推荐(0) 编辑

2018年12月25日

Centos6.5 rpm方式指定目录安装JDK

摘要： Centos6.5 rpm方式指定目录安装JDK 第一步：下载jdk本例使用jdk-7u5-linux-i586.rpm包，登陆到http://www.java.com下载即可。第二步：检查文件权限及安装情况1.以root权限登陆系统，查看并修改使jdk-7u5-linux-i586.rpm具有执阅读全文

posted @ 2018-12-25 15:57 Bigben 阅读(1252) 评论(0) 推荐(0) 编辑

2018年12月20日

Docker容器进入的4种方式

摘要： Docker容器进入的4种方式 $ sudo docker ps $ sudo docker exec -it 775c7c9ee1e1 /bin/bash 在使用Docker创建了容器之后，大家比较关心的就是如何进入该容器了，其实进入Docker容器有好几多种方式，这里我们就讲一下常用的几种进入D 阅读全文

posted @ 2018-12-20 17:09 Bigben 阅读(446) 评论(0) 推荐(0) 编辑

Win10激活工具

摘要： W10数字许可激活C#版v2.8.0百度网盘下载地址：https://pan.baidu.com/s/1TD0PVxIfB2NTarAuP9NJbQ直接下载地址：FTP://A@OS.X6X8.COM/W10sz.zip中文界面，进去后直接点激活即可。需要联网后才能激活，激活属于永久激活，不需要18 阅读全文

posted @ 2018-12-20 10:00 Bigben 阅读(26499) 评论(0) 推荐(0) 编辑

2018年12月18日

elastalert 配置post告警方式（备忘）

摘要：最近在做把elk告警日志发送到kinesis 流，供后续数据分析处理使用。。。。。。。。基于尽量不修改elastalert ，把修改工作放到接收端服务的原则。计划把elk的告警数据通过远程api的接口的形式发送到接收端，然后由接收端处理接收到的数据，并传送保存到kinesis 中。从网上搜索了下阅读全文

posted @ 2018-12-18 15:34 Bigben 阅读(983) 评论(0) 推荐(0) 编辑

2018年12月17日

Python之——CentOS 6.5安装Python2.7.14

posted @ 2018-12-17 14:49 Bigben 阅读(191) 评论(0) 推荐(0) 编辑

2018年12月13日

beam 的异常处理 Error Handling Elements in Apache Beam Pipelines

摘要： Error Handling Elements in Apache Beam Pipelines Vallery LanceyFollow Mar 15 Vallery LanceyFollow Mar 15 Vallery LanceyFollow Mar 15 I have noticed a 阅读全文

posted @ 2018-12-13 10:24 Bigben 阅读(507) 评论(0) 推荐(0) 编辑

2018年12月12日

私有云

摘要：最近有朋友问到我基于K8s & Spring Cloud的PaaS云平台的相关问题，正好之前在卓望数码时专门做这个的。考虑到技术选型本身并不涉及业务，也不涉及商业机密，索性整理一下，分享出来。注1：考虑到前公司的利益，下表列出的个别项目公司并未实际使用，又或者实际使用了，表格里故意写的未使用。再阅读全文

posted @ 2018-12-12 10:16 Bigben 阅读(273) 评论(0) 推荐(0) 编辑

2018年12月11日

CentOS6.5安装ElasticSearch6.2.3

摘要： CentOS6.5安装ElasticSearch6.2.3 1、Elastic 需要 Java 8 环境。（安装步骤：http://www.cnblogs.com/hunttown/p/5450463.html） 2、安装包下载： #官网地址 https://www.elastic.co/downl 阅读全文

posted @ 2018-12-11 15:23 Bigben 阅读(307) 评论(0) 推荐(0) 编辑

2018年12月10日

报警平台

摘要： http://www.cnblogs.com/DaBing0806/p/5457886.html 更多人在用传统的Nagios，Zabbix等监控工具。Jason Dixon在2012就意识到这些工具的问题是每个人都想做到大而全，实际上我们更需要的是一对小二精的组件拼装成一个个性化的解决方案。推荐大阅读全文

posted @ 2018-12-10 09:55 Bigben 阅读(583) 评论(0) 推荐(0) 编辑

2018年12月7日

联想的笔记本有隐藏分区导致无法安装win10 eufi启动报错：windows无法更新计算机的启动配置。无法安装

摘要：联想的笔记本都带着类似一键还原等的系统恢复软件，这些软件往往是将出厂设置备份在单独的一个分区，此分区默认为隐藏，在 Windows 的磁盘管理中可以看到。打开磁盘管理器的方法是右击计算机——管理，打开计算机管理后点击磁盘管理，就能看到了。但由于无法对其作任何修改。这对大多数人来说，这个软件如同阅读全文

posted @ 2018-12-07 18:19 Bigben 阅读(1461) 评论(0) 推荐(0) 编辑

2018年12月6日

Spring Cloud Data Flow 中的 ETL

摘要： Spring Cloud Data Flow 中的 ETL 影宸风洛程序猿DD 今天来源：SpringForAll社区 1 概述 Spring Cloud Data Flow是一个用于构建实时数据管道和批处理过程的云原生工具包。 Spring Cloud Data Flow已准备好用于一系列数据阅读全文

posted @ 2018-12-06 10:06 Bigben 阅读(1382) 评论(0) 推荐(0) 编辑

2018年12月5日

用beam实现连接kafka和elasticSearch示例在flink平台运行

摘要：示例实现beam用java编程，监听kafka的testmsg主题，然后将收取到的单词，按5秒做一次统计。结果输出到outputmessage 的kafka主题，同时同步到elasticSearch。阅读全文

posted @ 2018-12-05 18:01 Bigben 阅读(1108) 评论(0) 推荐(0) 编辑

2018年12月4日

使用Flink实现索引数据到Elasticsearch

摘要：使用Flink实现索引数据到Elasticsearch 2018-07-28 23:16:36 Yanjun 使用Flink处理数据时，可以基于Flink提供的批式处理（Batch Processing）和流式处理（Streaming Processing）API来实现，分别能够满足不同场景下应用数阅读全文

posted @ 2018-12-04 16:43 Bigben 阅读(5220) 评论(0) 推荐(0) 编辑

2018年12月3日

elasticsearch更改mapping(不停服务重建索引)

摘要：转载地址：http://donlianli.iteye.com/blog/1924721?utm_source=tuicool&utm_medium=referral 转载地址：http://donlianli.iteye.com/blog/1924721?utm_source=tuicool&ut 阅读全文

posted @ 2018-12-03 16:34 Bigben 阅读(1468) 评论(0) 推荐(0) 编辑

elasticsearch篇之mapping

摘要： 2018年05月17日 18:01:37 lyzkks 阅读数：444更多个人分类： Elastic stack 2018年05月17日 18:01:37 lyzkks 阅读数：444更多个人分类： Elastic stack 2018年05月17日 18:01:37 lyzkks 阅读数：44 阅读全文

posted @ 2018-12-03 10:36 Bigben 阅读(913) 评论(0) 推荐(0) 编辑

2018年11月30日

Elastalert安装及使用

摘要：洮生关注 2018.02.08 10:21 字数 1497 阅读 2982评论 1喜欢 3 洮生关注 2018.02.08 10:21 字数 1497 阅读 2982评论 1喜欢 3 2018.02.08 10:21 字数 1497 阅读 2982评论 1喜欢 3 简介 Elastalert是用阅读全文

posted @ 2018-11-30 11:21 Bigben 阅读(2026) 评论(0) 推荐(0) 编辑

基于Elastalert的安全告警剖析

摘要： https://www.freebuf.com/sectool/164591.html *本文作者：bigface，本文属 FreeBuf 原创奖励计划，未经许可禁止转载。 https://www.freebuf.com/sectool/164591.html *本文作者：bigface，本文属 F 阅读全文

posted @ 2018-11-30 10:32 Bigben 阅读(1281) 评论(0) 推荐(0) 编辑

elastalert

摘要： http://blog.51cto.com/kexiaoke/1977481 什么是？ ElastAlert是一个简单的框架，用于从弹性搜索中的数据中提取异常，尖峰或其他感兴趣的模式。在Yelp，我们使用Elasticsearch，Logstash和Kibana来管理我们越来越多的数据和日志。 Ki 阅读全文

posted @ 2018-11-30 10:13 Bigben 阅读(1056) 评论(0) 推荐(0) 编辑

2018年11月23日

Apache Flink：特性、概念、组件栈、架构及原理分析

摘要： 2016-04-30 22:24:39 Yanjun Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时（Flink Runtime），提供支持流处理和批处理两种类型应用的功能。现有的开源计算方案，会把流处理和批处理作为两种不同的应用类型阅读全文

posted @ 2018-11-23 16:46 Bigben 阅读(389) 评论(0) 推荐(1) 编辑

2018年11月22日

kafka partition（分区）与 group

摘要： kafka partition（分区）与 group 一、 1、原理图 2、原理描述一个topic 可以配置几个partition，produce发送的消息分发到不同的partition中，consumer接受数据的时候是按照group来接受，kafka确保每个partition只能同一个grou 阅读全文

posted @ 2018-11-22 16:05 Bigben 阅读(351) 评论(0) 推荐(0) 编辑

用Spring构建企业Java应用程序的方法

摘要： https://mp.weixin.qq.com/s?__biz=MzU0MDEwMjgwNA==&mid=2247484965&idx=1&sn=ca6b847c65e5062036413ce203f77e97&chksm=fb3f1fdecc4896c805abffc1d4b294f2e10e7 阅读全文

posted @ 2018-11-22 14:32 Bigben 阅读(246) 评论(0) 推荐(0) 编辑

2018年11月19日

Building real-time dashboard applications with Apache Flink, Elasticsearch, and Kibana

摘要： https://www.elastic.co/cn/blog/building-real-time-dashboard-applications-with-apache-flink-elasticsearch-and-kibana Fabian Hueske Share https://www.el 阅读全文

posted @ 2018-11-19 10:44 Bigben 阅读(360) 评论(0) 推荐(0) 编辑

ElasticSearch 2 (9) - 在ElasticSearch之下（图解搜索的故事）

摘要： ElasticSearch 2 (9) - 在ElasticSearch之下（图解搜索的故事）摘要先自上而下，后自底向上的介绍ElasticSearch的底层工作原理，试图回答以下问题：为什么我的搜索 *foo-bar* 无法匹配 foo-bar ？为什么增加更多的文件会压缩索引（Index 阅读全文

posted @ 2018-11-19 10:18 Bigben 阅读(252) 评论(0) 推荐(0) 编辑

2018年11月16日

SpringBoot构建大数据开发框架

摘要： http://blog.51cto.com/yixianwei/2047886 为什么使用SpringBoot 为什么使用SpringBoot 1、web工程分层设计，表现层、业务逻辑层、持久层，按照技术职能分为这几个内聚的部分，从而促进技术人员的分工2、需要各种XML配置，还需要搭建Tomcat或阅读全文

posted @ 2018-11-16 16:32 Bigben 阅读(5850) 评论(0) 推荐(0) 编辑

2018年10月31日

阿里云 docker连接总报超时 registry.cn-hangzhou.aliyuncs.com (Client.Timeout exceeded while awaiting headers

摘要： Error response from daemon: Get https://registry.cn-hangzhou.aliyuncs.com/v2/: net/http: request canceled while waiting for connection (Client.Timeout 阅读全文

posted @ 2018-10-31 15:28 Bigben 阅读(10708) 评论(0) 推荐(2) 编辑

2018年10月29日

这些保护Spring Boot 应用的方法，你都用了吗？

摘要：这些保护Spring Boot 应用的方法，你都用了吗？生如夏花 SpringForAll社区今天 Spring Boot大大简化了Spring应用程序的开发。它的自动配置和启动依赖大大减少了开始一个应用所需的代码和配置量，如果你已经习惯了Spring和大量XML配置，Spring Boot无疑阅读全文

posted @ 2018-10-29 10:49 Bigben 阅读(776) 评论(0) 推荐(0) 编辑

那些年让你迷惑的阻塞、非阻塞、异步、同步

摘要：那些年让你迷惑的阻塞、非阻塞、异步、同步作者：milter 链接： https://www.jianshu.com/p/3d603166f54d 在IT圈混饭吃，不管你用什么编程语言、从事前端还是后端，阻塞、非阻塞、异步、同步这些概念，都需要清晰地掌握，否则，怎么与面试官谈笑风生（chui niu 阅读全文

posted @ 2018-10-29 10:18 Bigben 阅读(131) 评论(0) 推荐(0) 编辑

2018年10月26日

spring data jpa 分页查询

摘要： https://www.cnblogs.com/hdwang/p/7843405.html spring data jpa 分页查询法一（本地sql查询,注意表名啥的都用数据库中的名称，适用于特定数据库的查询） public interface UserRepository extends Jpa 阅读全文

posted @ 2018-10-26 15:54 Bigben 阅读(1062) 评论(0) 推荐(0) 编辑

如何在Windows 10上运行Docker和Kubernetes？

摘要：如何在Windows 10上运行Docker和Kubernetes？如何在Windows 10上运行Docker和Kubernetes？在Windows上学习Docker和Kubernetes，开始的时候会让你觉得无从下手。最起码安装好这些软件都不是一件容易的事情。实际上，你应该对Docker和阅读全文

posted @ 2018-10-26 14:36 Bigben 阅读(2188) 评论(0) 推荐(0) 编辑

2018年10月25日

Spring Mvc和Spring Boot配置Tomcat支持Https

摘要： SpringBoot配置支持https spring boot因为是使用内置的tomcat，所以只需要一些简单的配置即可。 1.首先打开命令行工具，比如cmd，输入以下命令 keytool -genkey -alias tomcat -storetype PKCS12 -keyalg RSA -ke 阅读全文

posted @ 2018-10-25 18:00 Bigben 阅读(1270) 评论(0) 推荐(0) 编辑

2018年10月24日

Why I don't want use JPA anymore

摘要：转自：https://dev.to/alagrede/why-i-dont-want-use-jpa-anymore-fl Great words for what is considered by many as the greatest invention in the Java world. 阅读全文

posted @ 2018-10-24 11:28 Bigben 阅读(901) 评论(0) 推荐(0) 编辑

Spring Data JPA Batch Insertion

摘要：转自：https://www.jeejava.com/spring-data-jpa-batch-insertion/ Spring Data JPA Batch Insertion will show you how we can insert a large dataset into a dat 阅读全文

posted @ 2018-10-24 11:27 Bigben 阅读(1096) 评论(0) 推荐(0) 编辑

2018年10月19日

MySQL 到底能不能放到 Docker 里跑？

摘要： https://weibo.com/ttarticle/p/show?id=2309404296528549285581 前言前几月经常看到有 MySQL 到底能不能放到 Docker 里跑的各种讨论。这样做是错的！这样做是对的！说错的理由也说了一大堆，说对的思想也很明确。大家都有道理。但是我本人阅读全文

posted @ 2018-10-19 11:01 Bigben 阅读(11415) 评论(1) 推荐(2) 编辑

2018年10月17日

jpa 原生查询createNativeQuery里面有冒号保留字关键字的问题

摘要：用\\:替换。比如： Encountered a duplicated sql alias [] during auto-discovery of a native-sql query：这是由于select字段没有指定别名，加个别名就行。阅读全文

posted @ 2018-10-17 11:09 Bigben 阅读(1514) 评论(0) 推荐(0) 编辑