随笔分类 - 大数据中间件技术
中间件系统，数据流处理，大数据分析等
摘要：公司的后台服务使用了Rabbitmq，在开发过程中，发现可能存在消息丢失问题，于是只能去盘RabbitMq-_-。使用RabbitMq不仅仅是向其发消息，收消息就完事，还要关注它的状态，在使用过程中，发现RabbitMq使用方式很像Mysql。 首先，我们使用RabbitMq不是发消息，收消息就完事
阅读全文
摘要：要能够熟练使用hadoop，就得对其原理和源码有些了解。hadoop中比较重要的概念是NameNode,DataNode,去看这些类时，又会发现其使用了ZooKeeper包，这样就可以将hadoop的分解为若干个部分，理解起来就会稍微简单些了。 可以理解zookeeper封装了一个数据树。 zook
阅读全文
摘要：很显然，native-hadoop library不支持macos，如果是Linux就不会有这个问题。在百度上搜了，要下载在macos上编译的native hadoop library,我在网上下载了native，但是没有用，还是报错，所以那个package应该只适用linux，网上搜macos的n
阅读全文
摘要：这是FileInputFormat中的一个方法，看一下它的功能，多看源码，理解hadoop，同时提高自己的java编程能力： private static String[] getPathStrings(String commaSeparatedPaths) { int length = comma
阅读全文
摘要：这是从hadoop源码中间截取的一个片段，你看看你能不能看懂：如果不能看懂，说明你的javase基础很差。
阅读全文
摘要：hadoop的核心思想是MapReduce，其处理数据的基本原理：在执行mapreduce之前，原始数据被分割成若干split，每个split作为一个map任务的输入，在map执行过程中split会被分解成一个个记录（key-value对）， map会依次处理每一个记录。 解压所下载的Hadoop发
阅读全文
摘要：很多系统，除了关系型数据库，还可以见到redis。为什么呢？大概是用redis存储分布式会话及使用分布式锁，纯粹地做为缓存的还真不多见。 学习和进阶redis，推荐官方文档。 redis的数据结构我们都比较熟悉，但也有一些比较怪的地方，比如String类型，其本质是字节序列，可以支持int，floa
阅读全文
摘要：留给我学习hadoop的时间不多了，要提高效率，用上以前学的东西。hadoop要注重实战，把概念和原理弄清楚，之前看过一些spark，感觉都是一些小细节，对于理解hadoop没什么帮助。多看看资料，把基础打扎实吧。 1.首先就是hadoop的按装，分为a单机版b伪分布式c分布式,生产环境下都是用的分
阅读全文
