08 2020 档案
摘要：一、工作机制 1、原理 NameNode元数据储存在内存中，存在断电及消失的特性，因此产生磁盘备份元数据FsImage，但是当NameNode元数据更新时，若要时刻备份元数据到FsImage，效率会低下，因此使用Edites文件，当元数据更新时，对Edits文件进行追加操作，当发生断电时，FsIma
阅读全文
摘要：1、网络拓扑-节点距离计算 节点距离：两个节点到达最近的共同祖先的距离总和(一条线的长度为1) 2、机架感知-副本储存节点选择 当副本为三个时： 本地机架上的一个节点 本地机架上的另一个节点 不同机架的不同节点 3、读写数据流 1)、读 (fs)向NameNode请求读取文件 -> NameNode
阅读全文
摘要：一、IO流文件上传 @Test public void testIOPut() throws URISyntaxException, IOException, InterruptedException { // 1. 获取对象 Configuration conf = new Configurati
阅读全文
摘要：一、HDFS 文件上传 @Test public void testCopyFromLocal() throws URISyntaxException, IOException, InterruptedException { // 1. 获取 fs 对象 Configuration conf = n
阅读全文
摘要：前提：安装windows Hadoop 一、IDEA IntelliJ IDEA 二、搭建 1、创建maven项目 2、导入依赖 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <
阅读全文
摘要：1、安装配置JDK 2、安装Cygwin 参考：https://www.cnblogs.com/feipeng8848/p/8555648.html 3、安装hadoop https://blog.csdn.net/qq_35535690/article/details/81976032
阅读全文
摘要：一、格式 1、父类 bin/hadoop fs 命令 2、子类 bin/hdfs dfs 命令 二、命令 1、help 作用：获取帮助文档格式：hadoop fs -help 命令名称 2、ls 作用：查看HDFS路径的文件 格式： hadoop fs -ls 路径 hadoop fs -ls -R
阅读全文
摘要：一、优缺点 A、优点 1、高容错性 默认开启三个副本 2、适合处理大数据 3、廉价 B、缺点 1、速度慢，不适合低延迟的数据访问 2、无法高效的对大量小文件进行存储，小文件占用 NameNode 3、不支持并发写入，只支持append(追加) HDFS块的大小设置主要取决于磁盘传输速率（机器性能）
阅读全文
摘要：官方地址：https://mirrors.tuna.tsinghua.edu.cn/help/centos/ 前提：连接外网 1、copy sudo cp /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak
阅读全文
摘要：一、crond 系统定时任务 1、启动服务 service crond start 2、crontab基本语法 * * * * * 分 时 日 月 星期（0-7）0和 7代表 星期日 特殊符号 * 代表任意时间 , 代表不连续的时间 - 代表连续的时间 */n 代表每隔多久执行一次 二、集群时间同步
阅读全文
摘要：注意：使用xysnc，出现权限问题，使用 root 一、基本配置 1、hosts 和 hostname 2、开启 ssh 和 无密连接 3、固定静态IP 4、配置 xsync 5、安装配置JDK 6、安装配置Hadoop 7、修改权限 (若不修改权限会出现权限问题) sudo chown -R to
阅读全文
摘要：开启防火墙端口 netstat -ano |grep 50070 firewall-cmd --get-active-zones sudo firewall-cmd --zone=public --add-port=50070/tcp --permanent sudo firewall-cmd --
阅读全文
摘要：重要：信息用原生JDK坑太多了，所以卸掉，安装自己的JDK 参考博客：https://www.cnblogs.com/jpfss/p/9677827.html 官方：https://hadoop.apache.org/ 文档：http://hadoop.apache.org/docs/r2.7.7/
阅读全文
摘要：不同Linux，操作不同 一、环境配置(CentOS7) 0、安装Linux实体机 1、开启远程连接 a、检测 openssh-server 是否安装 yum list installed | grep openssh-server b、安装 openssh-server yum install o
阅读全文
摘要：一、特点 1、高可靠性 2、高扩展性 3、高效性 4、高容错性 二、发行版本 1、Apache版本 2、CDH版本 3、Hortonworks版本 三、Hadoop版本区别 Hadoop 1.X HDFS 数据存储 MapReduce 计算 + 资源调度 Hadoop2.X HDFS 数据存储 Ya
阅读全文
摘要：一、概念： 1、海量数据的储存 2、海量数据的分析计算二、特点(4V) 1、大量 2、高速 3、多样 4、低价值密度
阅读全文
摘要：一、环境 Package Version python 3.6 amqp 1.4.9 anyjson 0.3.3 baidu-aip 2.2.18.0 billiard 3.3.0.23 celery 3.1.26.post2 certifi 2020.6.20 chardet 3.0.4 Djan
阅读全文
摘要：0、创建 media 文件夹 1、配置文件 MEDIA_URL = '/media/' #资源保存目录 media MEDIA_ROOT = os.path.join(BASE_DIR, 'media') 2、路由 from django.contrib import admin from djan
阅读全文
摘要：官网 https://docs.spring.io/spring-security/site/docs/5.2.1.RELEASE/reference/htmlsingle/#saml2 一、安全？ 1、非功能性需求 2、设计之初，考虑安全 二、功能 认证、授权 三、使用 1、导入thymeleaf
阅读全文
摘要：@GetMapping({"/index", "/yy"}) private String index(){ return "index"; } 访问 /index 和 访问 /yy 的效果一致
阅读全文
摘要：1、导入模块 import datetime import time 2、代码 def time_task(): while True: now = datetime.datetime.now() # print(now.hour, now.minute) if now.hour == 0 and
阅读全文
摘要：1、参考 https://www.cnblogs.com/gme5/p/11765151.htmlhttps://blog.csdn.net/qq_43475458/article/details/107123220https://blog.csdn.net/qq_41259576/article/
阅读全文
