01 2017 档案

• rabbitMQ、activeMQ、zeroMQ、Kafka、Redis 比较
  摘要：Kafka作为时下最流行的开源消息系统，被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于RocketMQ等其他常见消息系统，Kafka在保障了大部分功能特性的同时，还提供了超一流的读写性能。 针对Kafka性能方面进行简单分析，相关数据请参考：https://segmentfau 阅读全文
  posted @ 2017-01-24 23:06 二郎神 阅读(39005) 评论(0) 推荐(6) 编辑
• Elasticsearch、MongoDB和Hadoop比较
  摘要：IT界在过去几年中出现了一个有趣的现象。很多新的技术出现并立即拥抱了“大数据”。稍微老一点的技术也会将大数据添进自己的特性，避免落大部队太远，我们看到了不同技术之间的边际的模糊化。假如你有诸如Elasticsearch或者Solr这样的搜索引擎，它们存储着JSON文档，MongoDB存着JSON文档 阅读全文
  posted @ 2017-01-24 22:45 二郎神 阅读(1139) 评论(0) 推荐(1) 编辑
• linux 启动ES
  摘要：1.启动ES：sh elasticsearch 阅读全文
  posted @ 2017-01-23 17:59 二郎神 阅读(7078) 评论(2) 推荐(0) 编辑
• linux后台运行和关闭、查看后台任务
  摘要：fg、bg、jobs、&、nohup、ctrl+z、ctrl+c 命令 一、& 加在一个命令的最后，可以把这个命令放到后台执行，如 二、ctrl + z 可以将一个正在前台执行的命令放到后台，并且处于暂停状态。 三、jobs 查看当前有多少在后台运行的命令 jobs -l选项可显示所有任务的PID， 阅读全文
  posted @ 2017-01-23 17:42 二郎神 阅读(976) 评论(0) 推荐(0) 编辑
• [Linux/Ubuntu] vi/vim 使用方法讲解
  摘要：vi/vim 基本使用方法 vi编辑器是所有Unix及Linux系统下标准的编辑器，它的强大不逊色于任何最新的文本编辑器，这里只是简单地介绍一下它的用法和一小部分指令。由于对Unix及Linux系统的任何版本，vi编辑器是完全相同的，因此您可以在其他任何介绍vi的地方进一步了解它。Vi也是Linux 阅读全文
  posted @ 2017-01-23 17:19 二郎神 阅读(218) 评论(0) 推荐(0) 编辑
• chmod命令详细用法
  摘要：指令名称 : chmod 使用权限 : 所有使用者 使用方式 : chmod [-cfvR] [--help] [--version] mode file... 说明 : Linux/Unix 的档案调用权限分为三级 : 档案拥有者、群组、其他。利用 chmod 可以藉以控制档案如何被他人所调用。  阅读全文
  posted @ 2017-01-23 15:43 二郎神 阅读(247) 评论(0) 推荐(0) 编辑
• linux 操作命令
  摘要：更新：sudo apt-get update 1.设置root密码：sudo passwd 2.切换用户：su username 3.安装ssh服务：sudo apt-get install openssh-server 查看ssh：rpm -qa |grep ssh 启动ssh：service s 阅读全文
  posted @ 2017-01-23 14:00 二郎神 阅读(196) 评论(0) 推荐(0) 编辑
• Linux 安装问题
  摘要：问题1： root>sudo apt-get install yum 提示： dpkg was interrupted, you must manually run 'sudo dpkg --configure -a' to correct the problem. 解决方法：sudo dpkg - 阅读全文
  posted @ 2017-01-23 13:40 二郎神 阅读(353) 评论(0) 推荐(0) 编辑
• VMWARE里安装时出现'SMBus Host Controller not enabled'
  摘要：在虚拟机上运行Linux内核版本为4.7或以上的系统都在安装过程中或在启动时会因为加载intel_powerclamp驱动而导致崩溃。解决办法：1.在启动Ubuntu的时候按住左Shift键；2.Ubuntu开机时将显示GRUB启动选项；3.接下来选择Ubuntu的高级选项（Advanced opt 阅读全文
  posted @ 2017-01-23 11:32 二郎神 阅读(1663) 评论(0) 推荐(0) 编辑
• 消息队列 Kafka 的基本知识及 .NET Core 客户端
  摘要：前言 最新项目中要用到消息队列来做消息的传输，之所以选着 Kafka 是因为要配合其他 java 项目中，所以就对 Kafka 了解了一下，也算是做个笔记吧。 本篇不谈论 Kafka 和其他的一些消息队列的区别，包括性能及其使用方式。 简介 Kafka 是一个实现了分布式的、具有分区、以及复制的日志 阅读全文
  posted @ 2017-01-19 18:41 二郎神 阅读(3017) 评论(0) 推荐(0) 编辑
• 安装和测试Kafka
  摘要：本文主要介绍如何在单节点上安装 Kafka 并测试 broker、producer 和 consumer 功能。 下载 进入下载页面：http://kafka.apache.org/downloads.html ，选择 Binary downloads下载 （Source download需要编译才 阅读全文
  posted @ 2017-01-19 13:34 二郎神 阅读(5551) 评论(0) 推荐(0) 编辑
• mongo 聚合函数
  摘要：一： 聚合 常见的聚合操作跟sql server一样，有：count，distinct，group，mapReduce。 <1> count count是最简单，最容易，也是最常用的聚合工具，它的使用跟我们C#里面的count使用简直一模一样。 <2> distinct 这个操作相信大家也是非常熟悉 阅读全文
  posted @ 2017-01-19 10:22 二郎神 阅读(391) 评论(0) 推荐(0) 编辑
• 如何把数据快速批量添加到Elasticsearch中
  摘要：问题来源 最近新做一个项目，有部分搜索比较频繁的数据，而且量级比较大，预计一两年时间很可能达到100G，项目要求不要存在数据库中，最终出来有两个方案，一个是使用Protocol Buffers存储在文件上，另外就是存在Elasticsearch中，也方便搜索，但这两个方案需要验证，到底哪个方案好，从 阅读全文
  posted @ 2017-01-18 18:27 二郎神 阅读(838) 评论(0) 推荐(0) 编辑
• Kibana基本使用
  摘要：现在你已经安装了Kibana，现在你一步步通过本教程快速获取Kibana核心功能的实践经验。学习完本教程，你将： 1.加载案例数据到你安装的Elasticsearch中 2. 定义至少一个索引匹配模式 3.使用Discover功能探索你的数据 4.建立一个visualization图形化地展示你的数 阅读全文
  posted @ 2017-01-18 18:25 二郎神 阅读(1867) 评论(0) 推荐(0) 编辑
• TF-IDF及其算法
  摘要：概念 TF-IDF（term frequency–inverse document frequency）是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会 阅读全文
  posted @ 2017-01-18 13:31 二郎神 阅读(392) 评论(0) 推荐(0) 编辑
• Elasticsearch 2.x.x版本如何安装bigdesk
  摘要：ES插件BigDesk安装 bigdesk支持的最新版本的ES是1.3.0 ... 1.3.x 然而想要在新版本ES上安装（2.x.x），项目中遇到过一些BUG，在ES在最新版本中有修复，所以采用了2.3.0的版本 head插件查看数据和集群其他一些挺方便，但是对集群状况监控不够细致，而且使用中有一 阅读全文
  posted @ 2017-01-17 22:31 二郎神 阅读(586) 评论(0) 推荐(0) 编辑
• ElasticSearch之常用插件安装命令
  摘要：#head监控安装，推荐 bin/plugin -install mobz/elasticsearch-head #bigdesk集群状态，推荐 bin/plugin -install lukas-vlcek/bigdesk #kopf插件 bin/plugin -install lmenezes/ 阅读全文
  posted @ 2017-01-17 22:11 二郎神 阅读(1349) 评论(0) 推荐(1) 编辑
• ELK_Elastic Search和kibana版本对应关系
  摘要：https://www.elastic.co/downloads/past-releases/kibana-5-0-0 https://www.elastic.co/downloads/past-releases/kibana-4-6-2 https://www.elastic.co/downloa 阅读全文
  posted @ 2017-01-17 21:35 二郎神 阅读(7083) 评论(0) 推荐(0) 编辑
• ElasticSearch 5.0及head插件安装
  摘要：ElasticSearch 5.0及head插件安装 plugin install mobz/elasticsearch-head ElasticSearch 5.0及head插件安装 本文主要介绍elasticsearch5.0安装及head插件安装。确保系统已经安装好jdk1.8.0_73以上， 阅读全文
  posted @ 2017-01-17 16:40 二郎神 阅读(9740) 评论(0) 推荐(2) 编辑
• 安装Elasticsearch5.0 部署Head插件
  摘要：5.0版本的ES跟之前的版本最大的不同之处就是多了很多环境的校验，比如jdk,max-files等等。 设置内核参数 设置资源参数 修改elasticsearch的参数 修改一下es使用的参数： 注意，设置参数的时候:后面要有空格！ 安装部署head 第一步，安装git 需要从github上面下载代 阅读全文
  posted @ 2017-01-17 16:06 二郎神 阅读(4780) 评论(3) 推荐(1) 编辑
• Elasticsearch 5.1.1 head插件安装指南
  摘要：一、下载安装包 下载Elasticsearch 5.1.1 下载地址:https://www.elastic.co/downloads/elasticsearch zip和tar格式是各种系统都通用的，解压之后启动Elasticsearch即可。 下载elasticsearch-head 下载地址: 阅读全文
  posted @ 2017-01-17 16:05 二郎神 阅读(5307) 评论(0) 推荐(0) 编辑
• 使用logstash+elasticsearch+kibana快速搭建日志平台
  摘要：https://www.loggly.com/ 日志的分析和监控在系统开发中占非常重要的地位，系统越复杂，日志的分析和监控就越重要，常见的需求有: 根据关键字查询日志详情 监控系统的运行状况 统计分析，比如接口的调用次数、执行时间、成功率等 异常数据自动触发消息通知 基于日志的数据挖掘 很多团队在日 阅读全文
  posted @ 2017-01-17 14:26 二郎神 阅读(2048) 评论(1) 推荐(0) 编辑
• logstash使用操作部分
  摘要：1.logstash的概念及特点。概念：logstash是一个数据采集、加工处理以及传输(输出)的工具。特点： - 所有类型的数据集中处理 - 不同模式和格式数据的正常化 - 自定义日志格式的迅速扩展 - 为自定义数据源轻松添加插件 2.logstash安装配置。①.下载安装[root@node1 阅读全文
  posted @ 2017-01-17 13:38 二郎神 阅读(17024) 评论(0) 推荐(1) 编辑
• ELK 集中日志分析 windows部署实战
  摘要：一步步来 1.下载软件 Elasticsearch: https://download.elasticsearch.org/...p/elasticsearch/2.0.0/elasticsearch-2.0.0.zipLogstash: https://download.elastic.co/lo 阅读全文
  posted @ 2017-01-17 12:49 二郎神 阅读(644) 评论(0) 推荐(0) 编辑
• 关于异步，同步，阻塞与非阻塞
  摘要：如果你想吃一份宫保鸡丁盖饭： 同步阻塞：你到饭馆点餐，然后在那等着，还要一边喊：好了没啊！ 同步非阻塞：在饭馆点完餐，就去遛狗了。不过溜一会儿，就回饭馆喊一声：好了没啊！ 异步阻塞：遛狗的时候，接到饭馆电话，说饭做好了，让您亲自去拿。 异步非阻塞：饭馆打电话说，我们知道您的位置，一会给你送过来，安心 阅读全文
  posted @ 2017-01-15 15:46 二郎神 阅读(178) 评论(0) 推荐(0) 编辑
• Zookeeper的集群配置和Java测试程序
  摘要：Zookeeper是Apache下的项目之一，倾向于对大型应用的协同维护管理工作。IBM则给出了IBM对ZooKeeper的认知： Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、 阅读全文
  posted @ 2017-01-13 12:42 二郎神 阅读(4286) 评论(0) 推荐(0) 编辑
• ZooKeeper典型应用场景一览
  摘要：ZooKeeper典型应用场景一览 应用中用到的一些配置信息放到ZK上进行集中管理。这类场景通常是这样：应用在启动的时候会主动来获取一次配置，同时，在节点上注册一个Watcher，这样一来，以后每次配置有更新的时候，都会实时通知到订阅的客户端，从来达到获取最新配置信息的目的。 分布式搜索服务中，索引 阅读全文
  posted @ 2017-01-13 10:54 二郎神 阅读(426) 评论(0) 推荐(0) 编辑
• 基于ZooKeeper的服务注册中心
  摘要：本文介绍基于ZooKeeper的Dubbo服务注册中心的原理。 1.ZooKeeper中的节点 ZooKeeper是一个树形结构的目录服务，支持变更推送，因此非常适合作为Dubbo服务的注册中心。 注：在ZooKeeper中，节点分为两类，第一类是指构成集群的机器，我们称之为机器节点；第二类是指数据 阅读全文
  posted @ 2017-01-13 09:26 二郎神 阅读(7533) 评论(0) 推荐(2) 编辑
• MongDB简介
  摘要：一、基本概念 MongoDB 是一个高性能，开源，无模式的文档型数据库，是当前NoSQL 数据库产品中最热门的一种。它在许多场景下可用于替代传统的关系型数据库或键/值存储方式，MongoDB 使用C++开发。MongoDB 的官方网站地址是：http://www.mongodb.org/，大家可以在 阅读全文
  posted @ 2017-01-13 08:32 二郎神 阅读(284) 评论(0) 推荐(0) 编辑
• 目录结构及用途
  摘要：目录 用途 bin 包含启动/关闭脚本 conf 包含不同的配置文件,包括 server.xml(Tomcat的主要配置文件)和为不同的Tomcat配置的web应用设置缺省值的文件web.xml doc 包含各种Tomcat文档 lib 包含Tomcat使用的jar文件.unix平台此目录下的任何文 阅读全文
  posted @ 2017-01-11 20:28 二郎神 阅读(332) 评论(0) 推荐(0) 编辑
• zookeeper 的监控工具
  摘要：zookeeper 的监控工具 公司很多产品会使用zookeeper,比如Meta消息中间件,在测试的过程中,我们经常需要查询zookeeper里面的信息来精确定位问题。目前项目中有开发团队自己写的浏览器node-zk-browser，是基于node.js的express.js框架和node-zoo 阅读全文
  posted @ 2017-01-11 15:31 二郎神 阅读(4610) 评论(0) 推荐(0) 编辑
• Zookeeper WINDOWS 安装配置
  摘要：一、单机配置 把zookeeper-3.4.6/conf/zoo_sample.cfg修改为zoo.cfg zoo.cfg内容： tickTime=2000 //Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔 initLimit=5 //zookeeper集群中的包含多台ser 阅读全文
  posted @ 2017-01-11 14:26 二郎神 阅读(510) 评论(0) 推荐(0) 编辑
• RESTful架构及SOA架构简单解析
  摘要：1.RESTful架构 本人也是刚接触ASP.NET开发，以下为自己简单的理解，并做了一些记录，表述不当或者错误之处还请指正，在此谢过。 首先，REST(REpresentational State Transfer)翻译为表述性状态转移，它是一种架构风格，而不是一种架构本身，具有这种架构风格的架构 阅读全文
  posted @ 2017-01-11 11:53 二郎神 阅读(2552) 评论(0) 推荐(1) 编辑
• [翻译]Elasticsearch重要文章之二：堆内存的大小和swapping
  摘要：Elasticsearch默认安装后设置的内存是1GB，对于任何一个业务部署来说，这个都太小了。如果你正在使用这些默认堆内存配置，你的集群配置可能有点问题。 这里有两种方式修改Elasticsearch的堆内存（下面就说内存好了），最简单的一个方法就是指定ES_HEAP_SIZE环境变量。服务进程在 阅读全文
  posted @ 2017-01-11 08:51 二郎神 阅读(1737) 评论(0) 推荐(1) 编辑
• 详解UML中的6大关系(关联、依赖、聚合、组合、泛化、实现)
  摘要：本篇文章对UML中的6大关系(关联、依赖、聚合、组合、泛化、实现)做出了详细的讲解，利用图文并行的方式使我们更能深刻的理解。 is a：继承或实现 has a：关联关系、聚合关系、合成/组合关系（表现为成员变量） use a：依赖关系（表现为函数中的参数） 大话设计模式上的一个图，我用EA画出来的： 阅读全文
  posted @ 2017-01-10 21:39 二郎神 阅读(698) 评论(0) 推荐(0) 编辑
• .net 面向对象程序设计深入]（3）UML
  摘要：1.活动图简介 定义：是阐明了业务用例实现的工作流程。 业务工作流程说明了业务为向所服务的业务主角提供其所需的价值而必须完成的工作。 业务用例由一系列活动组成，它们共同为业务主角生成某些工件。 工作流程通常包括一个基本工作流程和一个或多个备选工作流程。 工作流程的结构使用活动图来进行说明。 活动图在 阅读全文
  posted @ 2017-01-10 09:11 二郎神 阅读(176) 评论(0) 推荐(0) 编辑
• .net 面向对象程序设计深入]（2）UML
  摘要：1.用例图简介 定义：用例图主要用来描述“用户、需求、系统功能单元”之间的关系。它展示了一个外部用户能够观察到的系统功能模型图。 类型：动态图 应用：需求分析阶段 2.用例图元素 2.1 参与者(Actor) 表示与您的应用程序或系统进行交互的用户、组织或外部系统。用一个小人表示。 2.2 用例(U 阅读全文
  posted @ 2017-01-10 09:10 二郎神 阅读(195) 评论(0) 推荐(0) 编辑
• .net 面向对象程序设计深入]（1）UML
  摘要：1.UML简介 Unified Modeling Language (UML)又称统一建模语言或标准建模语言。 简单说就是以图形方式表现模型，根据不同模型进行分类，在UML 2.0中有13种图，以下是他们的主要用途简介： 1.用例图：对系统的使用方式分类. 2.类图:显示类和它们的相互关系。 3.对 阅读全文
  posted @ 2017-01-10 09:09 二郎神 阅读(213) 评论(0) 推荐(0) 编辑
• ElasticSearch大数据分布式弹性搜索引擎使用
  摘要：阅读目录： 1.背景 两年前有机会接触过elasticsearch，但是未做深入学习，只是工作中用到了。越来越发现es是个不错的好东西，所以花了点时间好好学习了下。在学习过程中也发现了一些问题，网上大多资料都很零散，大部分都是实验性的demo，很多问题并没有讲清楚也并没有系统的讲完整一整套方案，所以 阅读全文
  posted @ 2017-01-09 16:32 二郎神 阅读(1345) 评论(1) 推荐(1) 编辑
• linux 设置 jdk环境变量
  摘要：1.安装jdk tar zxvf jdk-8u112-linux-i586.tar.gz 2.设置环境变量：vi /etc/profile 输入i加入内容如下：export JAVA_HOME=/usr/locale/jdk1.8.0_112export CLASSPATH=.:$JAVA_HOME 阅读全文
  posted @ 2017-01-08 23:24 二郎神 阅读(277) 评论(0) 推荐(0) 编辑
• Elasticsearch 字段数据类型
  摘要：Elasticsearch 可以支持单个document中含有多个不同的数据类型。 字符型（String datatype）：string 数字型（Numeric datatypes）：long：64位存储 , integer：32位存储 , short：16位存储 , byte：8位存储 , do 阅读全文
  posted @ 2017-01-04 21:28 二郎神 阅读(12668) 评论(0) 推荐(0) 编辑
• Elasticsearch mapping
  摘要：//设置mapping Put: http://192.168.1.102:9200/indexName //修改mapping Put: http://192.168.1.102:9200/indexName/typeName/_mapping/ 阅读全文
  posted @ 2017-01-04 21:09 二郎神 阅读(292) 评论(0) 推荐(0) 编辑
• 查看已安装的CentOS版本信息：
  摘要：如何查看已安装的CentOS版本信息： 1)[root@localhost ~]# cat /proc/version Linux version 2.6.18-194.el5 (mockbuild@builder10.centos.org) (gcc version 4.1.2 20080704 阅读全文
  posted @ 2017-01-02 18:42 二郎神 阅读(486) 评论(0) 推荐(0) 编辑
• SecureCRT和SecureFx设置中文乱码
  摘要：SecureCRT和SecureFx设置中文乱码 SecureCRT和SecureFx连接服务器时中文显示乱码，找了好多资料好久都没整出来，后来整出来了，因此把个人的解决办法提供出来，已变帮助更多的人，同时也方便以后自己配置时不至于到处找资料。 Linux系统环境：Red Hat Enterpris 阅读全文
  posted @ 2017-01-02 16:54 二郎神 阅读(1297) 评论(0) 推荐(0) 编辑
• Linux 命令
  摘要：1.查看linux 系统位数：32、64 getconf LONG_BIT 2.安装ssh服务 sudo apt-get install openssh-server 3.查找文件 find / -name yum-3.4.3.tar.gz 4.RPM 安装操作 rpm -i 需要安装的包文件名 例 阅读全文
  posted @ 2017-01-02 16:35 二郎神 阅读(239) 评论(0) 推荐(0) 编辑
• 安装时出现——没有定义根文件系统
  摘要：安装时出现——没有定义根文件系统,请到分区菜单修改是在swap格式分区还是ext3分区定义根文件系统？ linux 和 windows和文件系统不一样.在linux里没有类似C盘D盘的概念,全是以文件夹的方式.一般情况下在linux里至少要建立两个分区:/(根分区)/swap(交换分区)如果你再了解 阅读全文
  posted @ 2017-01-01 14:39 二郎神 阅读(13481) 评论(0) 推荐(0) 编辑