摘要：
为Windows安装C编译器（MinGW-W64 GCC） 下载地址为： https://pan.baidu.com/s/10o1xCKnyu5HKiqyRpZmDrQ 提取码: karj 下载后是一个压缩文件，将它解压到指定的文件夹，可以是C盘 点开，进入它的“bin”子文件夹，然后复制路径“C: 阅读全文
posted @ 2022-01-21 22:28 ***Pepsi*** 阅读(235) 评论(0) 推荐(0) 编辑
2022年1月21日
2022年1月20日
摘要：
首先在应用商店中下载Prettier-Code Formatter。 进行上面的操作之后开始下载。 下面开始设置prettier。 VSCode左下角的设置图标--》设置--》输入框中搜索settings,随便点一个 /* prettier的配置 */ "prettier.printWidth": 阅读全文
posted @ 2022-01-20 21:33 ***Pepsi*** 阅读(155) 评论(0) 推荐(0) 编辑
2022年1月19日
摘要：
问题描述：安装Fz之后，连接centos7服务器，总是连接失败。。。 在win10上可以ping通虚拟机内的centos7服务器，在关闭了centos7防火墙之后仍然不起作用，随后排查到SSH配置问题 处理步骤： 1. 检查SSH是否安装 [root@client ~]# rpm -qa | gre 阅读全文
posted @ 2022-01-19 20:02 ***Pepsi*** 阅读(140) 评论(0) 推荐(0) 编辑
2022年1月18日
摘要：
进入终端，然后对应目录，然后输入ls -lt可以看到例如：-rwxr-xr-x 1 abc staff 39 9 27 09:43 command.shabc就是拥有者staff就是组用户 阅读全文
posted @ 2022-01-18 19:01 ***Pepsi*** 阅读(162) 评论(0) 推荐(0) 编辑
2022年1月17日
摘要：
一、Cent OS 7下重命名文件 mv：move 用移动文件命令就可以了，因为linux系统没有专门的重命名命令。 基本格式： 移动文件：mv 文件名 移动后路径 + 文件名 重命名文件：mv 文件名 修改后的文件名 示例：mv oldfilename newfilename （oldfilena 阅读全文
posted @ 2022-01-17 18:48 ***Pepsi*** 阅读(164) 评论(0) 推荐(0) 编辑
2022年1月16日
摘要：
一：Kettle安装前JDK环境配置 由于Kettle是Java语言开发的，该软件的允许需要Java运行环境的依赖。需要先安装JDK,准备好Java软件的运行环境。安装jdk1.8版本 安装JDK不再赘述 二、 安装kettle7.1 1.下载地址： 7.1版本，http://mirror.bit. 阅读全文
posted @ 2022-01-16 20:32 ***Pepsi*** 阅读(28) 评论(0) 推荐(0) 编辑
2022年1月15日
摘要：
一、下载sbt安装包 从sbt官网下载地址：https://www.scala-sbt.org/download.html 二、解压安装 tar -zxvf sbt-1.1.4.tgz # 解压 cd /usr/software/sbt/ # 进入解压目录 vim sbt # 新建一个名字为sbt的 阅读全文
posted @ 2022-01-15 19:47 ***Pepsi*** 阅读(48) 评论(0) 推荐(0) 编辑
2022年1月14日
摘要：
关于SBT： SBT是Scala的构建工具，全称Simple Build Tool，类似于 Maven 或 Gradle。 GETTING STARTED WITH SCALA AND SBT ON THE COMMAND LINE sbt Reference Manual 要使用sbt，阅读完第一 阅读全文
posted @ 2022-01-14 19:32 ***Pepsi*** 阅读(77) 评论(0) 推荐(0) 编辑
2022年1月13日
摘要：
使用xsync脚本循环同步文件到各个目标节点的相同目录下（需要用户具有root权限或者直接使用root用户创建xsync）1.sudo创建xsync文件（root用户可直接创建） xsync脚本源码： #!/bin/bash#1. 判断参数个数if [ $# -lt 1 ]then echo Not 阅读全文
posted @ 2022-01-13 19:05 ***Pepsi*** 阅读(163) 评论(0) 推荐(0) 编辑
2022年1月12日
摘要：
一、实验目的 l 熟练使用 scrapy 爬虫框架； l 掌握通过关键词搜索爬取数据的方法； l 熟练编写 python 代码实现数据爬取； 二、实验原理 网络爬虫，是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。通俗来说就是模拟用户在浏览器上的操作，从特定网站，自动提取对自己有价值的信息 阅读全文
posted @ 2022-01-12 21:21 ***Pepsi*** 阅读(391) 评论(0) 推荐(0) 编辑
2022年1月11日
摘要：
实验内容和要求 1．Spark SQL基本操作 将下列 JSON 格式数据复制到 Linux 系统中，并保存命名为 employee.json。 { "id":1 , "name":" Ella" , "age":36 } { "id":2, "name":"Bob","age":29 } { "i 阅读全文
posted @ 2022-01-11 20:06 ***Pepsi*** 阅读(110) 评论(0) 推荐(0) 编辑
2022年1月10日
摘要：
2.编写独立应用程序实现数据去重 对于两个输入文件 A 和 B，编写 Spark 独立应用程序，对两个文件进行合并，并剔除其 中重复的内容，得到一个新文件 C。 在/root/spark-local/mycode/remdup目录下新建 mkdir -p src/main/scala目录 新建文件v 阅读全文
posted @ 2022-01-10 19:01 ***Pepsi*** 阅读(46) 评论(0) 推荐(0) 编辑
2022年1月9日
摘要：
1. spark-shell 交互式编程 先下载数据集chapter5-data1.txt，然后将文件上传到Linux系统/home目录下 根据给定的实验数据，在 spark-shell 中通过编程来计算以下内容： （1）该系总共有多少学生 首先读取文件 以逗号为分隔分词 去重操作 取得总数 （2） 阅读全文
posted @ 2022-01-09 20:48 ***Pepsi*** 阅读(241) 评论(0) 推荐(0) 编辑
2022年1月8日
摘要：
实验要求 实验一： 实验一中使用Scala基础编程，掌握Scala编程的基础知识就可以 使用到while循环 实验二： 实验二完成对类的编写定义 实验三： 结果： 实验三需要掌握Scala中一定函数式编程的知识 在代码中使用到两个函数（方法） 1.统计函数 2.输出函数 阅读全文
posted @ 2022-01-08 20:33 ***Pepsi*** 阅读(25) 评论(0) 推荐(0) 编辑
2022年1月7日
摘要：
HDFS 常用操作 （1） 启动 Hadoop，在 HDFS 中创建用户目录“/user/hadoop”； 该命令中表示在HDFS中创建一个“/user/hadoop”目录，“–mkdir”是创建目录的操作，“-p”表示如果是多级目录，则父目录和子目录一起创建，这里“/user/hadoop”就是一 阅读全文
posted @ 2022-01-07 21:21 ***Pepsi*** 阅读(240) 评论(0) 推荐(0) 编辑