09 2021 档案
摘要:《清醒思考的艺术》这本书看书名,你就知道它有多理性了。现实生活中,我们理性在线的光辉时刻是不是少之又少?多数时候我们不是被情绪控制,就是被冲动左右,抑或是被情感怂恿。 你是不是会在仍掉标签还没拆的衣服时,心里暗自后悔买的时候太冲动?你是不是会看到这本书的书名时,不堪回首的往事都会默默涌上心头吧?拿到
阅读全文
摘要:今天做HIVE的安装 下载hive——地址:http://mirror.bit.edu.cn/apache/hive/ 执行以下几个命令安装8.0版本mysql //1、下载MySQLyum源(8.0版本的)wget http://dev.mysql.com/get/mysql80-communit
阅读全文
摘要:今天继续学习HIVE的知识: Hive的架构 1、用户接口: shell/CLI, jdbc/odbc, webui Command Line Interface CLI,Shell 终端命令行(Command Line Interface),采用交互形式使用 Hive 命令行与 Hive 进行交互
阅读全文
摘要:昨天老师发布了课堂测试HIVE数据库的操作,我就要去网上查找相应的资料。 Hive入门教程Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句
阅读全文
摘要:今天分享一个我在编程过程中遇到的问题,在使用javaweb项目导入hadoop的Client包后,如果在导入servlet然后创建servlet后,无法启动Tomcat,这时候在控制台会打印出错信息,然后可以看到一个包含在HadoopClient中的servlet,就是在这里出现了错误,我想可能是因
阅读全文
摘要:今天我们在课上做的Javaweb项目,和我预想的不太一样,这里的文件上传也不是平时意义的文件上传,而是在页面编写标题,内容等的就是MySQL数据的写入,也就是平常的信息管理系统,我准备的那些向Hadoop上传的功能也没有使用到。今天就是做一个信息管理系统,这次做的不好,还是因为有的地方使用的不是很熟
阅读全文
摘要:今天老师在群里发了消息,让我们明天测试的时候使用提前下载的web模板,所以今天就看一看那些模板比较合适。 我找到了两个网站可以下载模板,其网址如下: https://sc.chinaz.com/tag_moban/CSS_2.html 还有一个网站: 网页模板下载_模板王 (mobanwang.co
阅读全文
摘要:今天课上老师留了下次课的课堂测试,主要是文件的上传和管理,具体怎样管理还不是很清楚不过现在清楚的就是文件的上传,这里我在网上找了一些资料,经过筛选我选择的是菜鸟教程中的文件上传的案例来实现。 代码如下: 创建一个文件上传表单 下面的 HTML 代码创建了一个文件上传表单。以下几点需要注意: 表单 m
阅读全文
摘要:今天对Javaweb的用户登录类型进行判断的实现,以前使用过,但是没有发出来,今天讲一下我的想法, 首先是Java读取MySQL的: public String login(int Id, String Password) throws SQLException { String sql = "se
阅读全文
摘要:读一遍《漫步华尔街》,这次读的是最新的第 11 版, 收获依然很大,作者⻨尔基尔和约翰博格可以说是全世界指数投资的开创者,这是一个伟大的贡献。书中用大量的研究数据向读者论证了,至少在成熟的美国 市场,主动基金并不靠谱。此外,书中也指出了图表师(技术分析)、基本面分析(价值和成⻓投资)不靠谱, 聪明的
阅读全文
摘要:今天将昨天课上做的练习的代码完善一下: 新建一个类用来封装操作Hadoop的方法: import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.
阅读全文
摘要:今天课上老师在课上做了练习,主要是在虚拟机完成操作hadoop和在客户端操作hadoop,在虚拟机只需要输入相应的命令即可,在客户端就是使用Java连接hadoop。 这时候我的做法是新建一个类,然后在里面封装好对应的方法,然后根据用户的选择进行操作即可。我也在课上完成了打卡,代码还需要完善下,明天
阅读全文
摘要:今天对学过的hadoop知识进行使用,主要是在java连接hadoop,在IDEA创建maven项目,导入相关依赖: 然后编写一些方法实现连接Hadoop: private static FileSystem fs;private static void init() throws URISynta
阅读全文
摘要:今天按照老师的要求,注册并使用一下爱数科。 对爱数科中的例子进行学习,发现爱数科是一个功能很强大的平台,以后我可以在这个平台上学习到更多的知识。
阅读全文
摘要:今天了解MapReduce的部分知识。 MapReduce 核心思想 (1)分布式的运算程序往往需要分成至少 2 个阶段。(2)第一个阶段的 MapTask 并发实例,完全并行运行,互不相干。(3)第二个阶段的 ReduceTask 并发实例互不相干,但是他们的数据依赖于上一个阶段的所有 MapTa
阅读全文
摘要:今天了解一下MapReduce。 MapReduce 定义MapReduce 是一个分布式运算程序的编程框架,是用户开发“基于 Hadoop 的数据分析应用”的核心框架。MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个 Hadoop
阅读全文
摘要:模型驱动设计 在平常,我们使用的最多的开发思路就是 CRUD,各种信息管理系统都可以看作是对数据库增删查改的封装,在应对小的项目的时候,CRUD 可真是神器,不管三七二十一,一把梭,第一期就完成了。但是随着客户需求的变更与增多,问题随之而来。为什么会导致这样的问题?作者给出的解释是,开发人员对业务没
阅读全文
摘要:今天学习DataNode 工作 机制: 1)一个数据块在 DataNode 上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。(2)DataNode 启动后向 NameNode 注册,通过后,周期性(6 小时)的向 NameNode 上
阅读全文
摘要:今天了解NN和2NN工作机制: 1 ) 第一 阶段:NameNode 启动(1)第一次启动 NameNode 格式化后,创建 Fsimage 和 Edits 文件。如果不是第一次启 动,直接加载编辑日志和镜像文件到内存。(2)客户端对元数据进行增删改的请求。(3)NameNode 记录操作日志,更新
阅读全文
摘要:今天了解学下下HDFS的读数据流程: (1)客户端通过 DistributedFileSystem 向 NameNode 请求下载文件,NameNode 通过查询元数据,找到文件块所在的 DataNode 地址。(2)挑选一台 DataNode(就近原则,然后随机)服务器,请求读取数据。(3)Dat
阅读全文
摘要:今天刚回学校,没有学习多少新的知识,了解下HDFS的写数据流程 (1)客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件,NameNode 检 查目标文件是否已存在,父目录是否存在。(2)NameNode 返回是否可以上传。(3)客户端请求第一个 Blo
阅读全文
摘要:这周是假期的最后一周,也完成Hadoop的API操作,就是从java连接Hadoop。 客户端环境 准备1)找到资料包路径下的 Windows 依赖文件夹,拷贝 hadoop-3.1.0 到非中文路径(比如 d:\)。2 ) 配置 HADOOP_HOME 环境 变量 3 ) 配置 Path 环境 变
阅读全文