冰雨xuange

摘要： 1，继续学习Python 2，完成了实验六，安装了Flume 主要按照教程做的相关测试 使用 Avro 数据源测试 Flume Avro 可以发送一个给定的文件给 Flume，Avro 源使用 AVRO RPC 机制。请对 Flume 的相关配置文件进行设置，从而可以实现如下功能：在一个终端中新建一 阅读全文

摘要： 今天学习Python，安装了JetBrains PyCharm配好了环境。 Python 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。 Python 的设计具有很强的可读性，相比其他语言经常使用英文关键字，其他语言的一些标点符号，它具有比其他语言更有特色语法结构。 Python 阅读全文

摘要： 1．Spark SQL 基本操作 将下列 JSON 格式数据复制到 Linux 系统中，并保存命名为 employee.json。 { "id":1 , "name":" Ella" , "age":36 } { "id":2, "name":"Bob","age":29 } { "id":3 , 阅读全文

摘要： 今天弄了一下实验四shell的基础题 请到本教程官网的“下载专区”的“数据集”中下载 chapter5-data1.txt，该数据集包含 了某大学计算机系的成绩，数据格式如下所示： Tom,DataBase,80 Tom,Algorithm,50 Tom,DataStructure,60 Jim,D 阅读全文

摘要： 那个吐槽一下下载sbt的配置和包的下载，因为下载的网站都在国外，所以真的巨慢，前前后后搞了两天才把环境搭起来，，， 另外还有个问题，就是通过sbt和spark-shell打包发布的独立应用程序输出时会有大量信息同时输出，不太会去除。 题目如下 1.编写独立应用程序实现数据去重对于两个输入文件 A 和 阅读全文

摘要： Python爬虫的一个案例 爬取国家药品监督管理总局中基于中华人民共和国化妆品生产许可证相关数据 import requests from fake_useragent import UserAgent ua = UserAgent(use_cache_server=False,verify_ssl 阅读全文

摘要： 虚拟机版本，jdk版本，spark版本要对应，具体对应可到网上查。如不对应会有各种错误。 比如 spark2.4.0就要求jdk版本1.8及以上才行。 阅读全文

摘要： 统计学生成绩 学生的成绩清单格式如下所示，第一行为表头，各字段意思分别为学号、性别、课程名 1、课程名 2 等，后面每一行代表一个学生的信息，各字段之间用空白符隔开 Id gender Math English Physics 301610 male 80 64 78 301611 female 6 阅读全文

摘要： 元组 元组定义 与列表一样，与列表不同的是元组可以包含不同类型的元素。元组的值是通过将单个的值包含在圆括号中构成的。 创建元组与取值 val tuple = new Tuple（1） 可以使用new val tuple2 = Tuple（1,2） 可以不使用new，也可以直接写成val tuple3 阅读全文

摘要： list 创建list val list = List(1,2,3,4) Nil长度为0的list list遍历 foreach ，for list方法举例 filter:过滤元素 count:计算符合条件的元素个数 map：对元素操作 flatmap ：压扁扁平,先map再flat //创建 va 阅读全文