摘要： 遇到问题： 今天在启动kafka后创建topic时遇到如下错误： [hadoop@node01 kafka_2.11-2.4.1]$ bin/kafka-topics.sh --create --zookeeper node01:2181 --replication-factor 1 --parti 阅读全文

摘要： 官网下载地址：http://flume.apache.org/download.html 1. 上传 flume 包到soft目录中, 进入/kkb/install目录解压到insatll目录 tar -zxvf /kkb/soft/apache-flume-1.9.0-bin.tar.gz 2. 阅读全文

摘要： 什么是架构？ 架构是一组结构，来源于一组设计规则，能减少复杂性。常见定义是，每种结构由各种类型的组件和关系组成，它们如何组合、相互调用、通信、同步、及其其他交互。 架构存在的目的是什么？ 确保利益相关人员的关注点能够得到满足，而在构想、计划、构建和维护系统时，系统架构能够处理复杂性。 为了对付复杂性 阅读全文

摘要： 一、课堂测试 根据观看的视频内容，回答下列问题： 1、 你认为改造的房屋存在什么样的问题？ (至少五个存在问题) 缺乏储物空间 厨房设计不方便 没有地方晾衣服 缺少学习、工作空间 厨房排烟不畅 老人需要单独空间休息 百年老屋陈旧存在安全隐患 2、 家的必要功能（可用性）属性包括什么？ 吃饭、睡觉、厨 阅读全文

摘要： 1、 什么是架构？ 答：由于时间和能力的有限性，参与者为了完成复杂系统的目标而主动进行分工，并建立好机制合并，使得问题和任务高质量解决来满足人们需求。而根据要解决的问题，主动地去规划、分工、合并问题的过程及解决问题的方案就是架构。 2、 为什么要出现架构? 答： （1）每个人能力的有限性 （2）时间 阅读全文

摘要： 遇到问题：连接数据库报错Exception in thread “main” com.mysql.jdbc.exceptions.jdbc4.CommunicationsException 提示连接数据库失败，原因是导入的jdbc的jar包版本不匹配。 解决方法： 删除不匹配的jar包，重新导入与m 阅读全文

摘要： Spark SQL是Spark用于结构化数据处理的Spark模块 作用： SparkSQL是Spark用来处理结构化数据 [json，csv，Excel, MySQL] 的一个模块，它提供了一个编程抽象叫做DataFrame / DataSet。 如果想使用SparkSQL处理文本数据或者非结构化数 阅读全文

摘要： 需求： 计算每个城市的访问量 ip.txt： ipaccess.log： 解决： 1 package com.bigdata.spark.core.wc 2 3 import org.apache.spark.rdd.RDD 4 import org.apache.spark.{SparkConf, 阅读全文

摘要： 一、maven项目运行spark时遇到hadoop相关问题 解决方法： 在http://hadoop.apache.org/releases.html下载对应版本hadoop并解压 下载对应版本的hadoop-common，我下载的是hadoop-common-3.0.0-bin-master.zi 阅读全文

摘要： spark中的算子分为两类： [or 三类 ] 说明：RDD一旦创建不能修改，但是可以使用算子让一个RDD转换成新的RDD，这个过程的所有操作都要基于算子进行操作。 1、transformation 转换类 根据数据集创建一个新的数据集，计算后返回一个新RDD；例如：一个rdd进行map操作后生了一 阅读全文