05 2017 档案
摘要：目的：通过kafka输出的信息进行过滤，添加指定的字段后，进行打印 SentenceSpout: FunctionBolt: MyFilter: PrintFilter: TopologyTrident: package Trident;import java.util.HashMap;import
阅读全文
摘要：目的： 通过Spout发射kafka的数据，到bolt统计每一个单词的个数，将这些记录更新到mongodb中。 Spout的nextTuple方法会一直处于一个while循环这中，每一条数据发送给bolt后，bolt都会调用一次execute方法。 spout用于发射数据，bolt用于对数据进行处理
阅读全文
摘要：前言 过滤器是Zuul的核心组件，这篇文章我们来详细讨论Zuul的过滤器。下面话不多说，来看看详细的介绍吧。 过滤器类型与请求生命周期 Zuul大部分功能都是通过过滤器来实现的。Zuul中定义了四种标准过滤器类型，这些过滤器类型对应于请求的典型生命周期。 (1) PRE：这种过滤器在请求被路由之前调
阅读全文
摘要：使用Spring Cloud Feign作为HTTP客户端调用远程HTTP服务 使用Spring Cloud Feign作为HTTP客户端调用远程HTTP服务 在spring Cloud Netflix栈中，各个微服务都是以HTTP接口的形式暴露自身服务的，因此在调用远程服务时就必须使用HTTP客户
阅读全文
摘要：kafka客户端发布record(消息)到kafka集群。 新的生产者是线程安全的，在线程之间共享单个生产者实例，通常单例比多个实例要快。 一个简单的例子，使用producer发送一个有序的key/value(键值对)，放到java的main方法里就能直接运行， 生产者的缓冲空间池保留尚未发送到服务
阅读全文
摘要：import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.Properties; import kafka.consumer.ConsumerConfig;import kafka.con
阅读全文
摘要：import java.util.HashMap; import java.util.List;import java.util.Map;import java.util.Properties; import org.junit.Test; import kafka.consumer.Consume
阅读全文
摘要：kafka安装和启动 kafka安装和启动 kafka安装和启动 kafka安装和启动 kafka的背景知识已经讲了很多了，让我们现在开始实践吧，假设你现在没有Kafka和ZooKeeper环境。 Step 1: 下载代码 下载0.10.0.0版本并且解压它。 > tar -xzf kafka_2.
阅读全文
摘要：本篇文章主要介绍了mongodb对应java的常用增删改查的api，以及和spring集成后mongoTemplate的常用方法使用，废话不多说，直接上代码： 1.首先上需要用到的两个实体类User和Home，对应用户和家乡 import java.util.List;import org.spri
阅读全文
摘要：那么好，提笔写出烦恼。 从一开始，我并不希望自己的生活就仅仅是工作，我一直希望自己在生活中是一个面面俱到的人，但事实总显得有些力不从心。 忙碌的一周又过去了，问问自己，得到了什么，收获了多少，遇到了哪些问题，自己又是怎么解决的。在这里我并不是告诉大家凡事都要追求结果，只是希望在工作之余多自省，多和自
阅读全文
摘要：MongoDB没有像SQL数据库外开箱即用自动递增功能。默认情况下，它采用了12字节的ObjectId为_id字段作为主键来唯一地标识文档。然而，可能存在的情况，我们可能希望_id字段有一些其它的自动增加值不是ObjectId。 由于这不是MongoDB的默认功能，我们将通过编程通过使用计数器集合，
阅读全文
摘要：上限集合是固定大小的循环集合按照插入以支持高性能的创建，读取和删除操作。通过循环，这意味着，当分配给该集合中的固定大小要用尽时，它会开始删除集合中最旧的文件而不提供任何明确的命令。 上限集合限制更新，如果更新导致增加的文档大小的文件。 由于在磁盘存储器的顺序封端集合存储文档，它确保了文件大小不会增加
阅读全文
摘要：GridFS 介绍 GridFS是MongoDB规范用于存储和检索大文件，如图片，音频文件，视频文件等。这是一种文件系统用来存储文件，但数据存储于MongoDB集合中。GridFS存储文件比其文档大小16MB限制的更大能力。 GridFS的划分一个文件分成块存储数据每个块在一个单独的文件，每个最大尺
阅读全文
摘要：正则表达式常用来在所有语言中搜索字符串的任何模式或文字。MongoDB还提供了正则表达式功能的字符串模式使用正则表达式$regex操作符。MongoDB使用PCRE(Perl兼容正则表达式)为正则表达式语言。 不同于文本搜索，我们不需要做任何配置或命令就能直接使用正则表达式。 考虑下包含文字后其标签
阅读全文
摘要：启用文本搜索： 最初文本搜索是一个实验性功能，但2.6版本开始，配置是默认启用的。但是，如果使用的是以前 MongoDB 的版本，那么必须启用文本搜索，使用下面的代码： 创建文本索引： 考虑下文字后其标签的帖子集合，包含以下文件： 我们将创建post_text字段的文本索引，以便我们能够在我们的帖子
阅读全文
摘要：我们一直在使用MongoDB的对象ID在所有前面的章节。在本章中，我们将来理解ObjectId的结构。 ObjectId 具有一个12字节的BSON类型的结构，如下： 前4个字节，从Unix纪元以来表示秒 接下来的3个字节是机器标识 接下来的2个字节进程ID组成 最后的3个字节是一个随机计数器值 M
阅读全文
摘要：考虑以下文档中的用户集合： 上述文档中包含一个 address 子文档 和 标签数组. 索引数组字段： 假设我们要搜索基于用户文档的标签。对于这一点，我们将在集合中创建一个索引的标签数组。 创建索引在数组上，依次创建它的每个字段的单独索引条目。因此，在我们的例子中，当我们在标签数组创建一个索引，单独
阅读全文
摘要：原子操作模型数据findAndModify 推荐的方法，以保持原子将保留所有的相关信息，这些信息经常更新，一个文档中使用嵌入文档。这将确保所有的更新为一个单一文档是原子。 考虑下面的 products 文档： 在本文档中，我们已经嵌入客户买该产品的信息在 product_bought_by 字段中。
阅读全文
摘要：/** * log4j日志Util */public class LogUtil { private static Logger logger=null; static{ StackTraceElement[] stackTraceElements=new Throwable().getStackT
阅读全文
摘要：连接mongodb 1.连接一个mongodb MongoClient mongoClient = new MongoClient( "localhost" , 27017 ); 2.连接mongodb集群 MongoClient mongoClient = new MongoClient( Arr
阅读全文
摘要：MongoDB 监测 当正在准备一个MongoDB 部署，应该尽量了解应用程序将要投入生产。制定一个一致的，可重复的方法来管理部署环境，可以最大限度地减少任何意外。 最好的方法采用了原型，进行负载测试，监测的关键指标，并利用这些信息来扩展设置。办法是主动监控整个系统的关键部分 - 这将帮助了解您的生
阅读全文
摘要：1.mongodb 备份 mongodump 命令可以使用可用的选项的列表。 此命令将仅备份指定的数据库，在指定的路径 语法描述示例 mongodump --host HOST_NAME --port PORT_NUMBER 这条命令，将指定mongod实例备份所有的数据库。 mongodump -
阅读全文
摘要：搭建高可用mongodb集群（四）—— 分片 按照上一节中《搭建高可用mongodb集群（三）—— 深入副本集》搭建后还有两个问题没有解决： 从节点每个上面的数据都是对数据库全量拷贝，从节点压力会不会过大？ 数据压力大到机器支撑不了的时候能否做到自动扩展？ 在系统早期，数据量还小的时候不会引起太大的
阅读全文
摘要：搭建高可用mongodb集群（三）—— 深入副本集内部机制 在上一篇文章《搭建高可用mongodb集群（二）—— 副本集》 介绍了副本集的配置，这篇文章深入研究一下副本集的内部机制。还是带着副本集的问题来看吧！ 副本集故障转移，主节点是如何选举的？能否手动干涉下架某一台主节点。 官方说副本集数量最好
阅读全文
摘要：搭建高可用mongodb集群（二）—— 副本集 在上一篇文章《搭建高可用MongoDB集群（一）——配置MongoDB》 提到了几个问题还没有解决。 主节点挂了能否自动切换连接？目前需要手工切换。 主节点的读写压力过大如何解决？ 从节点每个上面的数据都是对数据库全量拷贝，从节点压力会不会过大？ 数据
阅读全文
摘要：搭建高可用mongodb集群（一）——配置mongodb 在大数据的时代，传统的关系型数据库要能更高的服务必须要解决高并发读写、海量数据高效存储、高可扩展性和高可用性这些难题。不过就是因为这些问题Nosql诞生了。 NOSQL有这些优势： 大数据量，可以通过廉价服务器存储大量的数据，轻松摆脱传统my
阅读全文
摘要：聚合操作过程中的数据记录和计算结果返回。聚合操作分组值从多个文档，并可以执行各种操作，分组数据返回单个结果。在SQL COUNT（*）和group by 相当于MongoDB的聚集。 aggregate() 方法 对于在MongoDB中聚集，应该使用aggregate()方法。 语法: aggreg
阅读全文
摘要：sort() 方法 要在 MongoDB 中的文档进行排序，需要使用sort()方法。 sort() 方法接受一个文档，其中包含的字段列表连同他们的排序顺序。要指定排序顺序1和-1。 1用于升序排列，而-1用于降序。 语法: sort() 方法的基本语法如下 >db.COLLECTION_NAME.
阅读全文
摘要：Limit() 方法 要限制 MongoDB 中的记录，需要使用 limit() 方法。 limit() 方法接受一个数字型的参数，这是要显示的文档数。 语法: limit() 方法的基本语法如下 >db.COLLECTION_NAME.find().limit(NUMBER) 示例 考虑集合myy
阅读全文
摘要：mongodb 投影意思是只选择必要的数据而不是选择一个文件的数据的整个。如果一个文档有5个字段，需要显示只有3个，然后选择其中只有3个字段。 find() 方法 MongoDB 的find()方法，在 MongoDB查询 文档解释接受第二个可选参数是要检索的字段列表。在MongoDB中，当执行fi
阅读全文
摘要：插入 测试数据 Count 返回数量 distinct 返回不重复的Name值。 group 例子：按照Name分组，条件是Age大于46 返回结果如下： mapReduce mapReduce其实是一种编程模型，用在分布式计算中，其中有一个“map”函数，一个”reduce“函数。 map： 这个
阅读全文
摘要：第三章 索引操作及性能测试 索引在大数据下的重要性就不多说了 下面测试中用到了mongodb的一个客户端工具Robomongo，大家可以在网上选择下载。官网下载地址：http://www.robomongo.org/ 插入 测试数据 首先插入100万条测试数据 性能分析函数（explain） mon
阅读全文
摘要：一、Mongodb命令 常用命令 help命令通过此命令可以看到一些最基本的命令 use命令例如命令【use demodb】，创建demodb，不用担心demodb不会创建，当使用use demodb 命令创建第一个collection时会自动创建数据库demodb，如图 插入数据使用命令【db.c
阅读全文
摘要：1.创建集合 createCollection() 方法 MongoDB db.createCollection(name, options) 是用来创建集合. 语法: 基本的 createCollection() 命令语法如下： db.createCollection(name, options)
阅读全文
摘要：1.创建数据库 use 命令 MongoDB use DATABASE_NAME 用于创建数据库。该命令将创建一个新的数据库，如果它不存在，否则将返回现有的数据库。 语法: use DATABASE 语句的基本语法如下： 示例: 如果想创建一个数据库名称 <mydb>, 那么 use DATABAS
阅读全文
摘要：1.下载安装包 wget http://fastdl.mongodb.org/linux/mongodb-linux-i686-1.8.2.tgz 下载完成后解压缩压缩包 tar zxf mongodb-linux-i686-1.8.2.tgz 2. 安装准备 将mongodb移动到/usr/loc
阅读全文
