文章分类 - 分布式与大数据
摘要：转载 原文地址：https://blog.csdn.net/u014513883/article/details/104597521 一、下载consul 下载地址：https://www.consul.io/downloads wget https://releases.hashicorp.com
阅读全文
摘要：转载 原文地址：https://www.hangge.com/blog/cache/detail_2965.html 基本介绍 HBase 是一个分布式的、面向列的开源的 NoSQL 数据库。它是 Apache Hadoop 中的一个子项目，Hbase 依托于 Hadoop 的 HDFS 作为最基本
阅读全文
摘要：参考地址：https://blog.csdn.net/csj941227/article/details/79536464 前提条件 jdk 安装（略） hadoop 安装参考：https://www.cnblogs.com/liyuanhong/articles/14559030.html zoo
阅读全文
摘要：参考地址： https://segmentfault.com/a/1190000011266759 https://blog.csdn.net/fanxin_i/article/details/80425461 一、准备工作 JDK:1.8 Hadoop Releasecentos或debian或者
阅读全文
摘要：参考地址： https://www.cnblogs.com/nicekk/p/11561836.html https://www.cnblogs.com/frankdeng/p/9400622.html 一、flink涉及到的基础概念 Flink 几个最基础的概念，Client、JobManager
阅读全文
摘要：Hadoop：是一个分布式计算的开源框架 HDFS：是Hadoop的三大核心组件之一 Hive：用户处理存储在HDFS中的数据，hive的意义就是把好写的hive的sql转换为复杂难写的map-reduce程序。 Hbase：是一款基于HDFS的数据库，是一种NoSQL数据库，主要适用于海量明细数据
阅读全文
摘要：转载 原文地址：https://cloud.tencent.com/developer/article/1131482 一、为什么需要hadoop？ 在数据量很大的情况下，单机的处理能力无法胜任，必须采用分布式集群的方式进行处理，而用分布式集群的方式处理数据，实现的复杂度呈级数增加。所以，在海量数据
阅读全文
摘要：转载 原文地址：https://www.cnblogs.com/qingyunzong/p/9004593.html 一、kafka架构图 如上图所示，一个典型的Kafka集群中包含若干Producer（可以是web前端产生的Page View，或者是服务器日志，系统CPU、Memory等），若干b
阅读全文
摘要：转载 原文地址：https://www.cnblogs.com/qingyunzong/p/9004509.html 简介 1.1概述 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于
阅读全文
摘要：转载 原文地址：https://baijiahao.baidu.com/s?id=1634226125542309459&wfr=spider&for=pc Kafka组件包括Producer、Broker、Consumer以及ZooKeeper。如下图所示： 在Kafka中，Broker一般有多个
阅读全文
摘要：转载 原文地址：https://www.jianshu.com/p/c74e0ec577b0 kafka依赖zookeeper，zookeeper安装参见：https://www.cnblogs.com/liyuanhong/articles/12501001.html jdk安装 查看centos
阅读全文
摘要：转账 原文地址：https://www.cnblogs.com/marshhu/p/12070798.html 1、安装条件 想要安装zookeeper，必须先在linux中安装好java jdk 2、下载并解压zookeeper压缩包 先进入/usr/local/目录：cd /usr/local
阅读全文
摘要：转载 原文地址：https://www.cnblogs.com/frankdeng/p/9584870.html 一.kafka-manager简介 kafka-manager是目前最受欢迎的kafka集群管理工具，最早由雅虎开源，用户可以在Web界面执行一些简单的集群管理操作。具体支持以下内容：
阅读全文
摘要：转载 原文地址：https://blog.csdn.net/qq_42246689/article/details/84842230?depth_1-utm_source=distribute.pc_relevant_right.none-task&utm_source=distribute.pc_
阅读全文
摘要：转载 原文地址：https://www.cnblogs.com/justinzhang/p/4273470.html 1. 两者分别是什么？ Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种
阅读全文
摘要：转载 原文地址：https://blog.csdn.net/MEIYOUDAO_JIUSHIDAO/article/details/90400639 最近做的一个项目中很多地方用到了redis，其中纠结了一下redis的数据持久化问题，毕竟是缓存，数据随时都有可能丢失，虽然概率不大，况且redis还
阅读全文
摘要：转载 原文地址：https://www.cnblogs.com/zknublx/p/9140883.html 一、key pattern 查询相应的key （1）redis允许模糊查询key 有3个通配符 *、?、[] （2）randomkey：返回随机key （3）type key：返回key存储
阅读全文
摘要：转载 原文地址：https://www.cnblogs.com/haoprogrammer/p/11065461.html Redis五种数据结构如下： 对redis来说，所有的key（键）都是字符串。 1.String 字符串类型 是redis中最基本的数据类型，一个key对应一个value。 S
阅读全文
摘要：转载 原文地址：https://www.cnblogs.com/daizhongxing/p/11586323.html 1、进入指定目录，下载资源（也可本地下载后复制到指定目录） wget http://download.redis.io/releases/redis-5.0.5.tar.gz 2
阅读全文
摘要：转载 原文地址：https://blog.csdn.net/weixin_41512727/article/details/89249668 消息生产代码： #coding:utf-8 #producer.py from kafka import KafkaProducer from kafka.e
阅读全文
