摘要：
数据获取 找什么数据源 通常会找一些已经整理好的，常用的数据集， 数据要求： 小一点的或者中等大小的、太大影响训练速度 比较全面的，不同不一样的数据集，多类别，为了全面查看我的超参数在不同数据集的表现 如果是非常大的，很深的神经网络，我们需要找非常大的数据集 假设我要找的是非常新的方法，我需要收集数 阅读全文
posted @ 2021-11-11 14:29
heybazinga
阅读(457)
评论(0)
推荐(0)
摘要：
NameNode 可以说是HDFS中的一个进程 NameNode的功能 负责客户端请求（读写数据 请求 ）的响应 NameNode存放文件与Block的映射关系 DataNode存放Block和DataNode的映射关系 保存文件的元数据信息 文件的归属 文件的权限 文件的大小和时间 Block信息 阅读全文
posted @ 2021-11-08 13:18
heybazinga
阅读(365)
评论(0)
推荐(0)
摘要：
@ 1.基本原理 (https://blog.csdn.net/shmily_lsl/article/details/80718508) tomcat启动可以通过两个脚本分别进行启动 :./startup.sh 或者 catalina.sh run 形式执行启动.其实startup.sh的启动也是调 阅读全文
posted @ 2021-11-06 17:41
heybazinga
阅读(716)
评论(0)
推荐(0)
摘要：
rpm安装 下载.rpm安装文件 运行rmp -ivh *.rpm,会自动添加到环境变量 [root@node1 ~]# rpm -ivh jdk-linux-x64.rpm Preparing... ################################# [100%] Updating 阅读全文
posted @ 2021-11-06 17:40
heybazinga
阅读(30)
评论(0)
推荐(0)
摘要：
@ 1.NGINX安装 解压文件 [root@node1 ~]# ls nginx-1.20.1.tar.gz [root@node1 ~]# tar -xvf nginx-1.20.1.tar.gz 解压后的nginx是源码，所以需要再编译一下，但是由于nginx是使用c语言写的，所以需要下载专门 阅读全文
posted @ 2021-11-06 17:40
heybazinga
阅读(83)
评论(0)
推荐(0)
摘要：
@ 增加用户 useradd username 可用来建立用户帐号。帐号建好之后，再用 passwd 设定帐号的密码。可用 userdel 删除帐号。使用 useradd 指令所建立的帐号，实际上是保存在 /etc/passwd 文本文件中。 可使用cat /etc/passwd查看用户名，编号，组 阅读全文
posted @ 2021-11-06 17:39
heybazinga
阅读(851)
评论(0)
推荐(0)
摘要：
命令 作用 type 命令用来显示指定命令的类型，判断给出的指令是内部指令还是外部指令 help help命令只能显示shell内部命令的帮助信息，而linux系统中绝大多数命令是外部命令，所以help命令的作用非常有限。而对于外部命令的帮助信息可以使man命令或者info命令查看 ll ll命令可 阅读全文
posted @ 2021-11-06 17:38
heybazinga
阅读(120)
评论(0)
推荐(0)
摘要：
问题描述： 使用hadoop命令查询HDFS文件时，NO Such file or directory 解决办法: 这里ll的，其实是linux本地的文件。所以需要： hadoop fs -put 本地文件 /上传目录 然后再: hadoop fs -cat /文件 可以，问题解决。 阅读全文
posted @ 2021-11-06 17:01
heybazinga
阅读(1351)
评论(0)
推荐(0)
摘要：
Hadoop 3.1.2 文件数据类型 文件有一个stat文件 元数据信息-->表述文件的属性 文件有一个vim命令 查看文件的数据信息 分类 元数据 File 文件名 Size 文件大小（字节） Blocks 文件使用的数据块总数 IO Block 数据块的大小 regular file 文件类型 阅读全文
posted @ 2021-11-05 21:40
heybazinga
阅读(69)
评论(0)
推荐(0)
摘要：
1. 启动zookeeper 没有问题 2. 上传hadoop安装包 解压，如图。 3. 节点功能分配 NameNode1 NameNode2 DataNode Zookeeper ZKFC JournalNode Node1 是 是 是 是 是 Node2 是 是 是 是 是 Node3 是 是 阅读全文
posted @ 2021-11-04 17:24
heybazinga
阅读(75)
评论(0)
推荐(0)
浙公网安备 33010602011771号