摘要：
服务介绍 随着实时分析技术的发展及成本的降低，用户已经不仅仅满足于离线分析。目前我们服务的用户包括微博，微盘，云存储，弹性计算平台等十多个部门的多个产品的日志搜索分析业务，每天处理约32亿条(2TB)日志。 技术架构 简单介绍一下服务的技术架构： 这是一个再常见不过的架构了： （1）Kafka：接收 阅读全文
摘要：
背景： 最近线上上了ELK，但是只用了一台Redis在中间作为消息队列，以减轻前端es集群的压力，Redis的集群解决方案暂时没有接触过，并且Redis作为消息队列并不是它的强项；所以最近将Redis换成了专业的消息信息发布订阅系统Kafka, Kafka的更多介绍大家可以看这里：传送门 ,关于EL 阅读全文
摘要：
Build path specifies execution environment J2SE-1.5. There are no JREs installed in the workspace that are strictly compatible with this environment. 阅读全文
摘要：
Why do Kafka consumers connect to zookeeper, and producers get metadata from brokers? Ask Question Why do Kafka consumers connect to zookeeper, and pr 阅读全文
摘要：
// MIT License // // Copyright (c) 2016 Michel Kraemer // Copyright (c) 2005 JSON.org // // Permission is hereby granted, free of charge, to any person obtaining // a copy of this software and associ... 阅读全文
摘要：
/* JSON_checker.h */ typedef struct JSON_checker_struct { int valid; int state; int depth; int top; int* stack; } * JSON_checker; extern JSON_checker new_JSON_checker(int depth... 阅读全文
摘要：
1.Spark是什么?UCBerkeley AMPlab所开源的类HadoopMapReduce的通用的并行计算框架。dfsSpark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不 阅读全文
摘要：
当我们正确地部署好Spark Streaming，我们就可以使用Spark Streaming提供的零数据丢失机制。为了体验这个关键的特性，你需要满足以下几个先决条件： 1、输入的数据来自可靠的数据源和可靠的接收器； 2、应用程序的metadata被application的driver持久化了(ch 阅读全文
摘要：
cxf整合spring，报错信息如下： Multiple annotations found at this line:- cvc-complex-type.2.4.c: The matching wildcard is strict, but no declaration can be found 阅读全文
摘要：
Nginx("engine x")是一款是由俄罗斯的程序设计师Igor Sysoev所开发高性能的 Web和 反向代理 服务器，也是一个 IMAP/POP3/SMTP 代理服务器。 在高连接并发的情况下，Nginx是Apache服务器不错的替代品。 Nginx("engine x")是一款是由俄罗斯 阅读全文
摘要：
使用Memcache <br\>Memcache是一个通用的内存缓存系统。 它通常用于加速缓慢的数据访问。 NGINXmemcached模块提供各种指令，可以配置为直接访问Memcache提供内容，从而避免对上游服务器的请求。除了指令之外，模块还创建$ memcached_key变量，用于执行高速缓 阅读全文
摘要：
定义缓存目录 <br\>使用您喜欢的文本编辑器打开/etc/nginx/nginx.conf，并在http {区域加入： proxy_cache_path /var/www/cache levels=1:2 keys_zone=my-cache:8m max_size=1000m inactive= 阅读全文
摘要：
启用FastCGI缓存 <br\>编辑必须启用缓存的虚拟主机配置文件。 nano /etc/nginx/sites-enabled/vhost 将以下行添加到server{}指令之外的文件顶部： fastcgi_cache_path /etc/nginx/cache levels=1:2 keys_ 阅读全文
摘要：
NGINX虽然已经对静态内容做过优化。 但在高流量网站的情况下，仍然可以使用open_file_cache进一步提高性能。 NGINX缓存将最近使用的文件描述符和相关元数据（如修改时间，大小等）存储在缓存中。 缓存不会存储所请求文件的内容。 open_file_cache 启用此指令将存储以下信息的 阅读全文
摘要：
请求缓冲区在NGINX请求处理中起着重要作用。 在接收到请求时，NGINX将其写入这些缓冲区。 这些缓冲区中的数据可作为NGINX变量使用，例如$request_body。 如果缓冲区与请求大小相比较小，则数据将写入磁盘上的文件，因此将涉及I/O操作。 NGINX提供了可以改变请求缓冲区的各种指令。 阅读全文
摘要：
配置Nginx I/O <br\> Sendfile 当应用程序传输文件时，内核首先缓冲数据，然后将数据发送到应用程序缓冲区。 应用程序反过来将数据发送到目的地。 Sendfile方法是一种改进的数据传输方法，其中数据在操作系统内核空间内的文件描述符之间复制，而不将数据传输到应用程序缓冲区。 这使操 阅读全文
摘要：
配置Nginx workers <br\>NGINX根据指定的配置运行固定数量的工作进程。 这些工作进程负责处理所有处理。 在下面的章节中，我们将调整NGINX worker参数。 这些参数是NGINX全局上下文的一部分。 worker_processes worker_processes指令控制工 阅读全文
摘要：
在本节中，我们将创建一个脚本，将Nginx守护进程转换为实际的系统服务。 这有两个作用：守护程序可以使用标准命令控制，更重要的是，它可以在系统启动时自动启动，并在系统关闭时停止。 System V scripts <br\>大多数基于Linux的操作系统使用System-V风格的init守护进程。 阅读全文
摘要：
守护进程和服务 <br\>在首次运行Nginx之前，了解此应用程序的性质很重要。 有两种类型的计算机应用程序 – 那些需要用户输入，因此在前台运行，另一种在后台运行。 Nginx是后一种类型，通常称为守护进程。 守护进程名称通常带有尾随的“d”，这里可以提到几个例子 – httpd，HTTP服务器守 阅读全文
摘要：
本文介绍nginx在提供HTTPS时使用的一些其他配置选项。 虽然这些功能有助于优化nginx的SSL和TLS，但这不是一个完整对加固nginx的介绍。 确保您的服务器安全的最佳方法是不仅需要正确的配置，而且需要始终遵循最佳安全的设置实践。 关闭nginx版本显示 <br\>默认情况下，nginx与 阅读全文
摘要：
从源代码编译应用程序时通常有三个步骤：配置，编译和安装。 配置步骤允许您选择一些在程序编译后无法编辑的选项，因为它对程序二进制文件有直接影响。 因此，这是一个非常重要的阶段，你需要仔细选择，如果你想避免后面的麻烦，如缺乏一个特定的模块或配置文件位于一个随机文件夹等。 简单安装 <br\>如果由于某种 阅读全文
摘要：
安装依赖 <br\>我们已经选择下载程序源代码进行手动编译，而不是使用软件包管理器（如Yum，Aptitude或Yast）进行安装。 这个选择有两个原因。 首先，软件包可能不包含在您的Linux发行版的存储库中。 此外，提供下载和安装Nginx的存储库经常包含比较旧的版本。 更重要的是，你可能需要配 阅读全文
摘要：
默认情况下ssl模块并未被安装，如果要使用该模块则需要在编译时指定–with-http_ssl_module参数，安装模块依赖于OpenSSL库和一些引用文件，通常这些文件并不在同一个软件包中。通常这个文件名类似libssl-dev。 生成证书 可以通过以下步骤生成一个简单的证书：首先，进入你想创建 阅读全文
摘要：
一、上传Tomcat服务器 二、安装Tomcat服务器 2.1、解压tomcat服务器压缩包 2.2、配置环境变量 tomcat服务器运行时是需要JDK支持的，所以必须配置好JDK用到的那些环境变量 编辑/etc下的profile文件，加上如下内容： 2.3、修改tomcat服务器的启动端口 修改将 阅读全文
摘要：
The BASEDIR environment variable is not defined correctly 启动tomcat时报错 The BASEDIR environment variable is not defined correctly This environment variable is needed to run this program 这坑爹... 阅读全文
摘要：
引言 上期我们对比了RocketMQ和Kafka在多Topic场景下，收发消息的对比测试，RocketMQ表现稳定，而Kafka的TPS在64个Topic时可以保持13万，到了128个Topic就跌至0.85万，导致无法完成测试。我们不禁要问： 为什么看不到Kafka性能暴跌的趋势呢？ 今天的测试， 阅读全文
摘要：
引言 上一期我们对比了三类消息产品(Kafka、RabbitMQ、RocketMQ)单纯发送小消息的性能，受到了程序猿们的广泛关注，其中大家对这种单纯的发送场景感到并不过瘾，因为没有任何一个网站的业务只有发送消息。本期，我们就来模拟一个真实的场景： Topic为何物 Topic是消息中间件里一个重要 阅读全文
摘要：
引言 分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多,前段时间我们自家的产品 RocketMQ (MetaQ的内核) 也顺利开源,得到大家的关注。 那么,消息中间件性能究竟哪家强? 带着这个疑问,我们中间件测试组对常见的三类消息产品(Kafka、R 阅读全文