随笔分类 - 4大数据
摘要：实时详情参考官网链接：https://www.elastic.co/cn/support/matrix#matrix_compatibility 对应关系如下：Compatibility with Elasticsearch (5.x, 6.x, 7.x) ElasticsearchKibanaX-
阅读全文
摘要：目录： 1、该文件的功能 2、模板代码 3、部分变量解释 1、该文件的功能： 将csv文件中的数据导入到数据库中 2、代码 { "job": { "content":[ { "reader": { "name": "txtfilereader", "parameter": { "path":["C:
阅读全文
摘要：林子雨 实验3 中的两道操作题（操作步骤解析） 目录： 一、在 spark-shell 中读取 Linux 系统本地文件 二、在 spark-shell 中读取 HDFS 系统文件 三、编写独立应用程序，读取 HDFS 系统文件（此处有sbt安装教程——>Spark之Scala独立应用编程 ） 环境
阅读全文
摘要：目录： 注意1、使用前启动hadoop 注意2、三种使用文件系统的shell命令方式 注意3、配置环境 注意4、第一次使用HDFS时 一、hdfs dfs 命令的常用操作（先启动Hadoop） 二、通过Java API操作HDFS （先启动Hadoop） 三、基本类似于Linux的常用操作命令 注意
阅读全文
摘要：林子雨 实验2 中的三道题（包含答案） 目录： 一、计算级数 二、模拟图形绘制 三、统计学生成绩 环境：已经配置完成的Scala开发环境。Scala版本2.11.8 安装教程 一、计算级数 问题： 请用脚本的方式编程计算并输出下列级数的前 n 项之和 Sn，直到 Sn 刚好大于或等于 q 为止，其中
阅读全文
摘要：目录： 一、安装教程 二、配置环境 三、第一个scala程序 四、错误处理及注意事项 注意：本教程以 scala-2.11.8.tgz 版本为例进行安装教程 一、安装教程 1、首先下载scala对应的压缩包：下载地址及相关教程 2、将下载好的压缩包放到虚拟机的 ~/下载（即home/hadoop/下
阅读全文
摘要：目录： 一、官网下载：（各种版本） 二、百度网盘下载：（scala-2.11.8.tgz） 三、安装教程 一、从官网下载操作步骤： 1、首先进入官网下载地址：https://www.scala-lang.org/download/ 进入官网，一直向下滑，直到看到下面这个界面： 2、按上图操作后进入下
阅读全文
摘要：环境如下：（更新了林子雨教程中不可使用的部分） Hadoop 2.6.0以上 java JDK 1.7以上 Spark 3.0.0-preview2 一、Scala独立应用编程 二、java独立应用编程（在下载依赖jar包的过程中如遇到卡顿现象可以Ctrl+C停止下载，然后重新执行本条命令即可继续下
阅读全文
摘要：目录： 一、Scala独立应用编程 1、安装sbt 2、Scala应用程序代码 3.使用 sbt 打包 Scala 程序 4、通过spark-submit运行程序 二、java独立应用编程 环境如下：（更新了林子雨教程中不可使用的部分） Hadoop 2.6.0以上 java JDK 1.7以上 S
阅读全文
