代码狂魔‘’

摘要： 1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 原因：设计一个统一的计算引擎解决所有的各类型计算，包含计算类型: 1.离线批处理； 2.交互式查询 3.图计算 4.流失计算 5.机器学习/迭代计算 6.Spark R 科学计算，数据分析 Shark 建立在 Hive 代码的 阅读全文

摘要： 持久化 scm.cache() 总共有多少学生？map(), distinct(), count() 开设了多少门课程？ 生成（姓名，课程分数）键值对RDD，观察keys(),values() 每个学生选修了多少门课？map(), countByKey() 每门课程有多少个学生选？map(), co 阅读全文

摘要： 1.准备文件,上传到hdfs上 2.读文件创建RDD 3.分词 4.排除大小写，标点符号 5.统计词频 6.排序 7.保存输出到文件，查询 B.一句话实现 查看结果: Spark编程的特点:1. 重要概念RDD2. 在进行RDD一系列操作3. RDD在遇到行动操作前的一系列RDD转换操作可流式实现 阅读全文

摘要： 一、 RDD创建 从本地文件系统中加载数据创建RDD 从HDFS加载数据创建RDD启动hdfs上传文件查看文件加载停止hdfs 通过并行集合（列表）创建RDD输入列表、字符串、生成数组 1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建RDD 启动hdfs 上传文件 查看文件 加载 阅读全文

摘要： 1.请用图文阐述Spark生态系统的组成及各组件的功能 2.请详细阐述Spark的几个主要概念及相互关系： Master, Worker; RDD,DAG; Application, job,stage,task; driver,executor,Claster Manager DAGSchedul 阅读全文

摘要： 一、安装Spark 检查基础环境hadoop,jdk 配置文件 环境变量 试运行Python代码 二、Python编程练习：英文文本的词频统计 path='/home/xzm/f1.txt'with open(path) as f: text=f.read()words=text.upper()wo 阅读全文

摘要： 一 1、HDFS（hadoop分布式文件系统） 是hadoop体系中数据存储管理的基础。他是一个高度容错的系统，能检测和应对硬件故障。 client：切分文件，访问HDFS，与namenode交互，获取文件位置信息，与DataNode交互，读取和写入数据。 namenode：master节点，在ha 阅读全文