摘要： 优点： ClickHouse写入吞吐量大，单服务器日志写入量在50MB到200MB/s，每秒写入超过60w记录数，是ES的5倍以上。 查询速度快，官方宣称数据在pagecache中，单服务器查询速率大约在2-30GB/s；没在pagecache的情况下，查询速度取决于磁盘的读取速率和数据的压缩率。。 阅读全文

摘要： 前两天有同事打电话问我，说ES删除数据有没有什么坑？ 我当时就问，是删索引还是删索引里的数据？她回答说是删数据，我说查出这些数据直接删除就好了，没有什么坑。。。 后来想想，关于ES数据的删除，之前确实遇到过很多删除场景，如果真要说有没有所谓的坑，细想一下，还真有。 我维护过的ES集群最大规模是180 阅读全文

摘要： 我们往已经部署好的Kafka集群里面添加机器是最正常不过的需求，而且添加起来非常地方便，我们需要做的事是从已经部署好的Kafka节点中复制相应的配置文件，然后把里面的broker id修改成全局唯一的，最后启动这个节点即可将它加入到现有Kafka集群中。 但是问题来了，新添加的Kafka节点并不会自 阅读全文

摘要： 简介： Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。Kafka如下特性，受到诸多公司的青睐。 1、高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息(核心目标之一)。 2、支持通过Kafka服务器和消费机集群来分区消息 ………… 场 阅读全文

摘要： kafka的log内容格式还不没怎么了解，想快速浏览消息内容的话，除了使用它自带的kafka-console-consumer.sh脚本，还可以直接去看log文件本身，不过内容里有部分二进制字符，通过命令看的话会有乱码。 strings 命令可以过滤掉二进制编码，但默认它也会过滤掉中文字符，只留有英 阅读全文

摘要： Kafka集群管理、状态保存是通过zookeeper实现，所以先要搭建zookeeper集群 zookeeper集群搭建 一、软件环境： zookeeper集群需要超过半数的的node存活才能对外服务，所以服务器的数量应该是2*N+1，这里使用3台node进行搭建zookeeper集群。 1. 3台 阅读全文

摘要： 0、引言 本文翻译自Elasticsearch20170918热乎的官方博客，原作者：Christian Dahlqvist。 在构建Elasticsearch集群的初期如果集群分片设置不合理，可能在项目的中后期就会出现性能问题。 Elasticsearch是一个非常通用的平台，支持各种各样的用例， 阅读全文

摘要： 索引分片： 从策略层面，控制分片分配的选择 磁盘限额 为了保护节点数据安全，ES 会定时(cluster.info.update.interval，默认 30 秒)检查一下各节点的数据目录磁盘使用情况。在达到 cluster.routing.allocation.disk.watermark.low 阅读全文

摘要： 近es集群磁盘空间告警，日志又没地方可以迁移，然后申请了新的服务器，一次性加入8台新的服务器 新增了32个新的数据节点，至此，我们的主集群已经到达85个数据节点的规模，整个集群数据已达到PB级别，终于可以跟别人炫耀我是做大数据的了。O(∩_∩)O哈哈~ 但是随着集群节点的不断壮大，问题也随之而来，刚 阅读全文

摘要： 如果ES是集群，那么需要使用共享存储，支持的存储有：a、shared file systemb、S3c、HDFS 我使用的是第一种，NFS共享文件系统。这里要说一下权限问题，ES一般是使用 elasticsearch 用户启动的，要保证共享目录对 elasticsearch 用户有读写权限，要不然创 阅读全文

摘要： ################### Filebeat Configuration Example ######################### ############################# Filebeat ###################################### filebeat: # List of prospectors to fetch ... 阅读全文

摘要： Jcseg是什么？ Jcseg是什么？ Jcseg是基于mmseg算法的一个轻量级中文分词器，同时集成了关键字提取，关键短语提取，关键句子提取和文章自动摘要等功能，并且提供了一个基于Jetty的web服务器，方便各大语言直接http调用，同时提供了最新版本的lucene, solr, elastic 阅读全文

摘要： 记得好像ES默认线程池配置是1000，然后我开启了1000个线程去查询。直接es集群就挂了。。呵呵 阅读全文

摘要： 以球员信息为例，player索引的player type包含5个字段，姓名，年龄，薪水，球队，场上位置。index的mapping为： 索引中的全部数据： 首先，初始化Builder： 接下来举例说明各种聚合操作的实现方法，因为在es的api中，多字段上的聚合操作需要用到子聚合(subAggrega 阅读全文

摘要： apache日志分析可以获得很多有用的信息，现在来试试最基本的，获取最多访问的前10个IP地址及访问次数。 既然是统计，那么awk是必不可少的，好用而高效。 命令如下： awk '{a[$1] += 1;} END {for (i in a) printf("%d %s\n", a[i], i);} 阅读全文

摘要： mysql导出用户权限 mysql中直接通过授权即可使用对应用户，不必使用创建用户命令（如CREATE USER 'xxx'@'%' IDENTIFIED BY 'XXX';）先建用户再授权。 方法一：该脚本可以将所有授权数据到当前目录下的sql脚本（grants.sql）中，使用grants.sq 阅读全文

摘要： 相关概念 面向对象的三个特征 封装,继承,多态.这个应该是人人皆知.有时候也会加上抽象. 多态的好处 允许不同类对象对同一消息做出响应,即同一消息可以根据发送对象的不同而采用多种不同的行为方式(发送消息就是函数调用).主要有以下优点: 代码中如何实现多态 实现多态主要有以下三种方式: 1. 接口实现 阅读全文

摘要： Java集合类主要分为以下三类： 第一类：Array、Arrays 第二类：Collection ：List、Set第三类：Map ：HashMap、HashTable 一、Array ， Arrays Java所有“存储及随机访问一连串对象”的做法，array是最有效率的一种。 1、效率高，但容量 阅读全文

摘要： AWS的ubuntu主机登录用户是ubuntu 只能通过秘钥的方式登录 如果在linux终端通过ssh远程登录步骤如下： 假如申请EC2主机的时候下载的key名称叫my-key.pem,并保存在本地linux主机/home/key下面 1.使用chmod命令确保您的私有密钥不是公开可见的 2. 3. 阅读全文

摘要： Docker资源 Docker官方英文资源： docker官网：http://www.docker.com Docker windows入门：https://docs.docker.com/windows/ Docker Linux 入门：https://docs.docker.com/linux/ 阅读全文

摘要： ubuntu14.04安装前准备工作，为了保证安装顺利，请先执行apt-get update 然后安装make 和gcc（已安装的可忽略） 下载Redis的安装包 wget http://download.redis.io/releases/redis-2.8.9.tar.gz 编译安装后可以进行测 阅读全文

摘要： 结果报错： 貌似只能在jdk1.8环境下才行。 可是我的环境是jdk1.7 然后我又下载了个低版本的jenkins.war 地址：http://mirrors.tuna.tsinghua.edu.cn/jenkins/war-stable/2.19.1/ 直接部署在tomcat下面就好了 Jenki 阅读全文

摘要： port：50187 阅读全文

摘要： web.xml加入如下配置 web.xml同级目录下新建dwr.xml MessagePush类 DwrScriptSessionManagerUtil工具类 TestPush类 引入JavaScript文件，具体如下： 接收消息html页面具体内容代码如下： 发送消息html页面具体内容代码如下： 阅读全文

摘要： 使用Timeline做性能分析 Timeline面板记录和分析了web应用运行时的所有活动情况，这是研究和查找性能问题的最佳途径。###Timeline面板概览 Timeline面板主要有三个部分构成：顶部的概述部分、记录视图和工具栏。 点击开始/停止切换按钮，开始或停止记录（参考记录） 点击清理按 阅读全文

摘要： package com.xsw.test; import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; i... 阅读全文

摘要： 最近遇到一个奇怪的问题。maven项目再进行junit单元测试的时候发现无法加载配置文件。一会能加载一会又不能加载。然后试了在src/main/resource下面的配置文件放到src/test/resource下，这样每次都能加载了。 但是理论上不用放在test下也是可以加载的。 后来发现用ecl 阅读全文

摘要： html页面中添加以上代码默认打开为页面视图而不是web视图 poi将html导出为word import java.io.BufferedReader;import java.io.ByteArrayInputStream;import java.io.File;import java.io.Fi 阅读全文

摘要： //检验金额合法性 只能是正数 或小数 function checkMoney(fileds){ $(fileds).keyup(function () { var reg = $(this).val().match(/\d+\.?\d{0,2}/); var txt = ''; if (reg ! 阅读全文

摘要： 腾讯云工程师 : 2017-05-18 18:16:13 腾讯云工程师 : 2017-05-18 18:16:13 您好！您的域名已经有备案号，现在指向腾讯云国内服务器，按照管局要求需要做转接入备案的，在转入过程中如果着急访问的话，通过初审就可以给您开通临时访问的权限的，初审是一个工作日，后续流程需 阅读全文