摘要: 由于在写这篇博客之前,已经接触一些Hadoop的基础知识,我先把之前所学的一些基本概念和理解分享到这里,导图如下。 遵从着学习新知识的三大入手点(Why What How)出发。首先认识大数据先要理解 什么是 大的数据,为什么会有这项技术的诞生,有那些基本的思想,哪些具体的实现技术以及如何去部署实现 阅读全文
posted @ 2023-02-15 00:59 积极向上的徐先生 阅读(43) 评论(0) 推荐(0) 编辑
摘要: 强力推荐 10 个值得开发者自学的 GitHub 库 “许多优秀的人都是自学而成的”- Herb Ritts 对于很多人来说,“自学型开发者” 这个术语是一个有矛盾的术语。事实上,在某种程度上每个开发人员都是自学成才的。然而,我认为作为一名自学成才的开发者是能够编写生产级代码,同时拥有最少或没有计算 阅读全文
posted @ 2023-02-15 00:45 积极向上的徐先生 阅读(356) 评论(0) 推荐(0) 编辑
摘要: mybatis mp 是一个 MyBatis 的增强工具,在 MyBatis 的基础上只做增强不做改变,为简化开发、提高效率而生 特性 无侵入:只做增强不做改变,引入它不会对现有工程产生影响,如丝般顺滑 损耗小:启动即会自动注入基本 CURD,性能基本无损耗,直接面向对象操作 强大的 CRUD 操作 阅读全文
posted @ 2023-02-15 00:28 积极向上的徐先生 阅读(43) 评论(0) 推荐(0) 编辑
摘要: 创建命名空间 # 注意命名规则 kubectl create namespace cyj-schedule yaml创建用户 createaccount.yaml apiVersion: v1 kind: ServiceAccount metadata: name: schedule namespa 阅读全文
posted @ 2023-02-14 01:16 积极向上的徐先生 阅读(19) 评论(0) 推荐(0) 编辑
摘要: 想学大数据已经很久了,之前接触了java的一些基础知识,但没有仔细的整理成文档和导图,导致学过的东西很容易就会忘记,只留下一些片面的知识点,没有形成一个整体的大局观念,以至于跟别人解释时导致每次想说的东西有很多,但又没有一个清晰的逻辑架构,搞得自己和别人都稀里糊涂,场面很是尴尬…… 这次打算结合着j 阅读全文
posted @ 2020-03-17 23:50 积极向上的徐先生 阅读(105) 评论(0) 推荐(0) 编辑
摘要: 在做批量实验室,例如跑批量MR的作业,我们会写好shell脚本,然后启动脚本,等所有作业执行完再去看结果,但是这些执行时的信息如何保存下来到文件中呢?下面这个命令可以完成这个任务。 sh batchjob.sh 2>&1 | tee mylog.log 其中sh batchjob.sh:表示要执行的 阅读全文
posted @ 2020-02-24 14:06 积极向上的徐先生 阅读(7430) 评论(0) 推荐(0) 编辑
摘要: 一、引言 1、 简介 Avro是Hadoop中的一个子项目,也是Apache中一个独立的项目,Avro是一个基于二进制数据传输高性能的中间件。在Hadoop的其他项目中例如HBase(Ref)和Hive(Ref)的Client端与服务端的数据传输也采用了这个工具。Avro是一个数据序列化的系统。Av 阅读全文
posted @ 2018-08-15 11:59 积极向上的徐先生 阅读(759) 评论(0) 推荐(0) 编辑
摘要: 用通俗易懂的大白话讲解Map/Reduce原理 用通俗易懂的大白话讲解Map/Reduce原理 2014年03月31日 16:20:44 阅读数:150434 2014年03月31日 16:20:44 阅读数:150434 阅读数:150434 Hadoop简介Hadoop就是一个实现了Google 阅读全文
posted @ 2018-07-20 18:06 积极向上的徐先生 阅读(152) 评论(0) 推荐(0) 编辑
摘要: https://blog.csdn.net/Regan_Hoo/article/details/78802897 阅读全文
posted @ 2018-07-17 15:30 积极向上的徐先生 阅读(246) 评论(0) 推荐(0) 编辑
摘要: elasticsearch 与 传统数据库的区别与选用 1:ES ElasticSearch是一款分布式全文检索框架,底层基于基于Lucene实现。 ElasticSearch 使用 JSON 格式存储数据,属于文档存储 2:遍历方式 ES有分片的概念,一个大的索引会被分成多个分片来进行存储数据,使 阅读全文
posted @ 2018-07-17 15:00 积极向上的徐先生 阅读(7961) 评论(0) 推荐(0) 编辑