摘要:
原文链接:https://blog.csdn.net/scgaliguodong123_/article/details/46277159 近年来,关于大数据讨论已然是热火朝天,虽不说是家喻户晓,那至少对于业界来说也是引起了轩然大波。作为学生党的我,最近也在研究关于大数据的东东。作为一个技术迷,总是 阅读全文
摘要:
1、flume安装 1)上传压缩包并解压 2)文件配置 flume-env.sh # If this file is placed at FLUME_CONF_DIR/flume-env.sh, it will be sourced # during Flume startup. # Envirom 阅读全文
摘要:
附上zookeeper启动命令: Sqoop解压缩包后 Sqoop文件配置: 阅读全文
摘要:
1.Spark SQL 基本操作 创建DataFrame (1) 查询所有数据 (2) 查询所有数据,并去除重复的数据; (3) 查询所有数据,打印时去除 id 字段; (4) 筛选出 age>30 的记录; (5) 将数据按 age 分组; (6) 将数据按 name 升序排列; (7) 取出前 阅读全文
摘要:
1.spark-shell 交互式编程 (1)该系总共有多少学生; 执行命令: var tests=sc.textFile("file:///home/hadoop/studata/chapter5-data1.txt") var par=tests.map(row=>row.split(",")( 阅读全文
摘要:
第2章算法入门浮于表面不如深入其中,送给自己,自己是最大的敌人,那么就尽最大努力去克服自己,沉思,冷静,不浮躁! 勘误:在算法导论第9页,扼要的扼 内容提要: (1)伪代码的表示方法 (2)插入排序算法分析 (3)循环不变式 (4)算法设计之分治法(divide-and-conquer) (5)合并 阅读全文
摘要:
1、原型图 2、原理实现代码 1、项目结构 2、原理代码出自 3、参考文章: 云桌面产品桌面水印和盲水印功能配置:https://zhiliao.h3c.com/Theme/details/77349 阅读全文
摘要:
1.安装 Hadoop 和 Spark 进入 Linux 系统,参照本教程官网“实验指南”栏目的“Hadoop 的安装和使用”,完成 Hadoop 伪分布式模式的安装。完成 Hadoop 的安装以后,再安装 Spark(Local 模式)。 2.HDFS 常用操作 (1) 启动 Hadoop,在 H 阅读全文
摘要:
1. 计算级数 代码: import scala.io.StdIn object jishu { def main(args:Array[String]) { var Sum=0.0 println("请输入q的值") var q:Int=StdIn.readInt() var i=1.0 whil 阅读全文
摘要:
(1)切换到目录 /usr/bin; $ cd /usr/bin (2)查看目录/usr/local 下所有的文件; $cd /usr/local $ls (3)进入/usr 目录,创建一个名为 test 的目录,并查看有多少目录存在; $ cd /usr $ mkdir test $ ll (4) 阅读全文