随笔分类 - Hadoop 学习
1
发表于 2022-05-25 17:28阅读次数：1363评论次数：0
摘要：1 Python实现围棋可实现提子计数、保存成绩至数据库或者文本文件 全部项目文件以及代码自取： 链接：https://pan.baidu.com/s/19OM3oT04ag6_6HL15PgzMA 提取码：june 2 软件开发环境与技术说明 2.1软件开发环境 Python版本：Python 3
阅读全文 »
发表于 2022-01-29 11:27阅读次数：94评论次数：0
摘要：1、安装环境 虚拟机：CentOS Linux release 8.5.2111 名称：june Hadoop环境：Hadoop 2.7.3 hive环境：hive-2.3.9 Hbase版本：hbase-1.2.6 Mysql版本：mysql Ver 14.14 Distrib 5.7.36, f
阅读全文 »
发表于 2022-01-26 11:39阅读次数：37评论次数：0
摘要：1、Scala中的空类型 Unit、null、Nothing package com.demo3 import com.demo1.Student /** * @author June * @date 2022/1/26 8:52 */ object Test3_1 { def main(args:
阅读全文 »
发表于 2022-01-25 11:11阅读次数：48评论次数：0
摘要：1、字符串 关键字： package import class obejct trait extends with type for private protected abstract sealed final implicit lazy override try catch finlly thr
阅读全文 »
发表于 2022-01-23 16:39阅读次数：1189评论次数：0
摘要：原文链接：https://blog.csdn.net/scgaliguodong123_/article/details/46277159 近年来，关于大数据讨论已然是热火朝天，虽不说是家喻户晓，那至少对于业界来说也是引起了轩然大波。作为学生党的我，最近也在研究关于大数据的东东。作为一个技术迷，总是
阅读全文 »
发表于 2022-01-22 11:46阅读次数：31评论次数：0
摘要：1、flume安装 1）上传压缩包并解压 2）文件配置 flume-env.sh # If this file is placed at FLUME_CONF_DIR/flume-env.sh, it will be sourced # during Flume startup. # Envirom
阅读全文 »
发表于 2022-01-21 18:01阅读次数：25评论次数：0
摘要：附上zookeeper启动命令： Sqoop解压缩包后 Sqoop文件配置：
阅读全文 »
发表于 2022-01-20 18:40阅读次数：84评论次数：0
摘要：1．Spark SQL 基本操作 创建DataFrame (1) 查询所有数据 (2) 查询所有数据，并去除重复的数据； (3) 查询所有数据，打印时去除 id 字段； (4) 筛选出 age>30 的记录； (5) 将数据按 age 分组； (6) 将数据按 name 升序排列； (7) 取出前
阅读全文 »
发表于 2022-01-19 15:34阅读次数：86评论次数：0
摘要：1．spark-shell 交互式编程 （1）该系总共有多少学生； 执行命令： var tests=sc.textFile("file:///home/hadoop/studata/chapter5-data1.txt") var par=tests.map(row=>row.split(",")(
阅读全文 »
发表于 2022-01-16 17:46阅读次数：148评论次数：0
摘要：1．安装 Hadoop 和 Spark 进入 Linux 系统，参照本教程官网“实验指南”栏目的“Hadoop 的安装和使用”，完成 Hadoop 伪分布式模式的安装。完成 Hadoop 的安装以后，再安装 Spark（Local 模式）。 2．HDFS 常用操作 （1） 启动 Hadoop，在 H
阅读全文 »
发表于 2022-01-14 17:31阅读次数：49评论次数：0
摘要：1. 计算级数 代码： import scala.io.StdIn object jishu { def main(args:Array[String]) { var Sum=0.0 println("请输入q的值") var q:Int=StdIn.readInt() var i=1.0 whil
阅读全文 »
发表于 2022-01-13 18:06阅读次数：69评论次数：0
摘要：（1）切换到目录 /usr/bin； $ cd /usr/bin （2）查看目录/usr/local 下所有的文件； $cd /usr/local $ls （3）进入/usr 目录，创建一个名为 test 的目录，并查看有多少目录存在； $ cd /usr $ mkdir test $ ll （4）
阅读全文 »
发表于 2022-01-12 17:35阅读次数：121评论次数：0
摘要：（注：由于第一次安装操作失误，所以重新安装了，因此截图为第一次的截图，命令为第二次安装的命令） (注：图是本人安装所截图，本人安装参考网址：https://www.cnblogs.com/shaosks/p/9242536.html) 1、下载压缩包 命令：wget https://download
阅读全文 »
发表于 2022-01-10 17:21阅读次数：88评论次数：0
摘要：1、下载压缩包 命令：wget https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz 2、解压缩包 命令：tar -xzvf scala-2.11.8.tgz 3、配置执行文件 4、运行
阅读全文 »
发表于 2022-01-09 17:55阅读次数：57评论次数：0
摘要：1、登录centos至root角色下 配置环境变量 2、执行下述命令 scala -version 出现结果如下 输入 ‘y’ 3、开始安装 4、安装完成界面 5、启动成功以及测试程序
阅读全文 »
发表于 2021-12-14 17:10阅读次数：1497评论次数：0
摘要：Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://192.168.25.128:9000/export/y
阅读全文 »
发表于 2021-12-14 17:04阅读次数：1624评论次数：0
摘要：问题描述：#报错语句：FileSystem fs = FileSystem.get(new URI("hdfs://hadoop000:8020"),new Configuration(),"hadoop"); #异常信息Exception in thread "main" java.net.Con
阅读全文 »
发表于 2021-12-14 17:03阅读次数：994评论次数：0
摘要：1.查看防火墙是否没关闭、 2.用jps 命令查看是否没有启动resourcemanager
阅读全文 »
发表于 2021-12-14 17:02阅读次数：559评论次数：0
摘要：当我们启动Hadoop集群的时候，发现有一台机器的nodemanager启动后自动关闭， 查看日志的时候发现有错误：yarn-root-nodemanager-log 解决办法： netstat anp |grep 端口号 如果有进程占用这个端口，kill -9 这个进程 重新启动即可
阅读全文 »
发表于 2021-09-21 21:27阅读次数：502评论次数：2
摘要：本项目主要实现Windows下利用代码实现Hadoop中文件上传至HDFS 实现上传文本文件中单词个数的计数 1、项目结构 2、相关代码 CopyFromLocalFile 1 package com.hadoop.worldcount; 2 3 import java.io.FileInputSt
阅读全文 »
1
