focusbigdata

2020年7月6日

摘要：输出倒逼输入 HDFS客户端操作 IO流操作 HDFS文件上传 @Test public void putFileToHDFS() throws IOException, InterruptedException, URISyntaxException { // 1 获取文件系统 Configura 阅读全文

posted @ 2020-07-06 17:13 focusbigdata 阅读(259) 评论(0) 推荐(0) 编辑

【HDFS篇04】HDFS客户端操作 --- 文件操作

摘要：只有当知识写进你的长时记忆区，才是真正的学习 HDFS客户端操作文件操作参数优先级测试 1.编写测试方法，设置文件副本数量 @Test public void testCopyFromLocalFile() throws IOException, InterruptedException, UR 阅读全文

posted @ 2020-07-06 10:36 focusbigdata 阅读(327) 评论(0) 推荐(0) 编辑

2020年7月3日

【软件工具篇02】使用Anki克服遗忘曲线

摘要：使用Anki克服遗忘曲线艾宾浩斯遗忘曲线百度百科：遗忘曲线由德国心理学家艾宾浩斯研究发现，描述了人类大脑对新事物遗忘的规律。人体大脑对新事物遗忘的循序渐进的直观描述，人们可以从遗忘曲线中掌握遗忘规律并加以利用，从而提升自我记忆能力。该曲线对人类记忆认知研究产生了重大影响。关键词：新事物遗忘，提阅读全文

posted @ 2020-07-03 17:01 focusbigdata 阅读(358) 评论(0) 推荐(0) 编辑

【软件工具篇02】使用Anki克服遗忘曲线

摘要：使用Anki克服遗忘曲线艾宾浩斯遗忘曲线百度百科：遗忘曲线由德国心理学家艾宾浩斯研究发现，描述了人类大脑对新事物遗忘的规律。人体大脑对新事物遗忘的循序渐进的直观描述，人们可以从遗忘曲线中掌握遗忘规律并加以利用，从而提升自我记忆能力。该曲线对人类记忆认知研究产生了重大影响。关键词：新事物遗忘，提阅读全文

posted @ 2020-07-03 17:00 focusbigdata 阅读(624) 评论(0) 推荐(0) 编辑

【HDFS篇03】HDFS客户端操作 --- 开发环境准备

摘要：存储越困难，提取越容易 HDFS客户端操作开发环境准备步骤一：编译对应HadoopJar包，配置Hadoop变量步骤二：创建Maven工程，导入pom依赖 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>juni 阅读全文

posted @ 2020-07-03 16:37 focusbigdata 阅读(436) 评论(0) 推荐(0) 编辑

【HDFS篇02】HDFS命令行操作

摘要：完成永远比完美重要 HDFS的Shell操作基本语法 hadoop fs 具体命令【推荐】 hdfs dfs 具体命令常用命令大全启动Hadoop集群 // 这些命令也都可以按照自己的方式组成脚本哦 start-dfs.sh start-yarn.sh -help：输出这个命令参数 hadoo 阅读全文

posted @ 2020-07-03 10:39 focusbigdata 阅读(187) 评论(0) 推荐(0) 编辑

2020年7月2日

【HDFS篇01】HDFS入门概述

摘要：真正的学习是去探索，思考和重建 HDFS产生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 HDFS定义 HDF 阅读全文

posted @ 2020-07-02 16:42 focusbigdata 阅读(249) 评论(0) 推荐(0) 编辑

【Hadoop篇09】Hadoop序列化

摘要：知之为知之，不知为不知 Hadoop序列化序列化概念序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储（持久化）和网络传输反序列化就是将收到字节序列（或其他数据传输协议）或者是硬盘的持久化数据，转换成内存中的对象。序列化作用 “活的”对象只生存在内存里，关机断电就阅读全文

posted @ 2020-07-02 10:37 focusbigdata 阅读(362) 评论(0) 推荐(0) 编辑

2020年7月1日

【Hadoop篇08】Hadoop数据压缩

摘要：简洁而不简单 Hadoop数据压缩数据压缩优点和缺点压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在 Hadoop下，尤其是数据规模很大和工作负载密集的情况下，使用数据压缩显得非常重要。在这种情况下，IO操作和网络数据传输要花大量的时间。还有，阅读全文

posted @ 2020-07-01 16:36 focusbigdata 阅读(263) 评论(0) 推荐(0) 编辑

【软件工具篇01】如何用思维导图构建自己的知识体系

摘要：如何用思维导图构建自己的知识体系思维导图是什么百度百科上说思维导图，英文是The Mind Map，又叫心智导图，是表达发散性思维的有效图形思维工具，它简单却又很有效，是一种实用性的思维工具关键词：发散性思维，图形思维工具思维导图的作用大脑的思考方式是放射性的，我们能思考总是先关注一个阅读全文

posted @ 2020-07-01 10:29 focusbigdata 阅读(1241) 评论(0) 推荐(0) 编辑

公告