摘要：
前言： 由于之前在 PHP 中使用 Kafka 是通过 composer 包的方式，由于 nmred/kafka-php 很久没有维护，并且网上相关问题的文章也比较少。所以我这次换成 PHP 扩展 RdKafka 继续使用，主要介绍扩展安装和这种方式的基本操作。 安装： 1. 下载 地址在这里，点击 阅读全文
随笔分类 - 大数据
在inteillj idea中使用Spark操作Hive
2022-05-06 09:26 by 北桥苏, 267 阅读, 收藏, 编辑
摘要：
前言： 都知道，小编前面已经简单介绍过在windows下hadoop和hive环境搭建和基本使用。这次的Spark有点突兀，但是也可以先忽略，重要的是先在IDEA中安装bigData插件连接hadoop已经HDFS，而后再简单介绍使用Spark操作Hive。 Big Data Tools安装： 1. 阅读全文
浅谈Kafka2.8+在Windows下的搭建与使用
2022-04-14 13:24 by 北桥苏, 300 阅读, 收藏, 编辑
摘要：
前言： 周末空闲时间无意找到了一套个性化推荐的源码，整体项目运用了SSH，HDFS，Flume，Hive，Kafka，Spark，Scala等。运行时，本来通过spark计算业务埋点数据时，却发现本地没有Kafka。因为我一直也没使用过Kafka，所以也作为新人，浅谈以下Kafka的环境安装与分别在 阅读全文
windows下Hive搭建踩坑汇总
2022-02-21 09:54 by 北桥苏, 494 阅读, 收藏, 编辑
摘要：
前言： Hive是一个基于Hadoop的数据仓库工具，以一种类SQL的HQL语句操作Hadoop数据仓库(HDFS等)。所以本地windows安装前需要先搭建Hadoop。前面文章已经大概介绍了环境搭建和踩坑汇总，所以这里也依旧只是介绍基础的安装方法。因为关于Hive的安装，网上其实有很多文章，这里 阅读全文
Windows下hadoop环境搭建之NameNode启动报错
2022-02-16 09:47 by 北桥苏, 938 阅读, 收藏, 编辑
摘要：
前言： 因为平时工作和日常接触到的大都是的中型项目，所以少有个性化推荐等涉及大数据的功能。但是后期应该也会在自己项目中添加信息推荐模块，所以就开始关注spark，hadoop，Thrift等工具，以下就以hadoop先开始，包括环境搭建和配置过程中踩坑过程。 关于hadoop的环境搭建，网上也有各种 阅读全文
