10 2019 档案
摘要：分布式资源调度框架 Yet Another Resource Negotiator YARN 不同框架使用相同的系统资源 YARN的核心组件(架构) ResourceManager RM 整个集群同一时间提供服务的RM只有一个.负责集群资源的统一管理(生产上通常有其他副本节点) 处理客户端的请求 N
阅读全文
摘要：一.环境准备 阿里云ECS(Centos7).已预装JDK8 Hadoop安装包 hadoop-2.7.7.tar.gz 二. 安装步骤 1.确认JDK环境的安装位置 命令 echo $JAVA_HOME 2.解压hadoop-2.7.7.tar.gz 文件夹到指定目录(目录可以自己定义) 命令 t
阅读全文
摘要：问题: 今天在配置SSH免密登录连接自己的阿里云服务器,在将RSA加密生成的公钥放到服务器后,用Xshell连接服务,出现所选的用户密钥未在远程主机上注册这样的提示,一时懵逼,不知所措,后面终于找到了问题所在,此次笔记记录解决问题的过程 一配置流程 1.使用Xshell工具RSA加密的方式生成秘钥对
阅读全文
摘要：文章来源于:https://blog.csdn.net/xuejingfu1/article/details/52554174 文件写入staging（分阶段进行） 一个客户端的创建文件的请求并不直接会送达namenode；实际上，1.最初HDFS客户端会把数据缓存在本地的buffer中，2.应用的
阅读全文
摘要：一,HDFS是什么,HDFS有什么用,HDFS怎么用 HDFS:Hadoop Distribute File System 分布式文件系统 HDFS可以保证文件存储的可靠性, 二.HDFS的设计原则 HDFS的设计目标: 1.存储非常大的文件 通常的值的是G,TB级别的文件 2.采用流式的数据访问方
阅读全文
摘要：一.需求分析 最近接到一个需求,导入十万级,甚至可能百万数据量的记录了车辆黑名单的Excel文件,借此机会分析下编码过程; 首先将这个需求拆解,发现有三个比较复杂的问题: 问题一:Excel文件导入后首先要被解析为存放对象的列表,数据量大的情况下可能会导致内存溢出,解析时间过长; 问题二:插入数据库
阅读全文
摘要：一,Vue中的组件化开发: Vue中的组件也就是Vue实例 组件类型: 通用组件(例如,表单,弹窗,布局类等) 业务组件(抽奖,机器分类) 页面组件(单页面开发程序的每个页面都是一个组件) 组件开发三部曲:声明,注册,使用 二.slot插槽和 ref .$parent 1.插槽slot slot就是
阅读全文
摘要：一.WebSocket介绍 1.WebSocket是什么? WebSocket是协议,是HTML5开始提供的基于TCP(传输层)的一种新的网络协议, 它实现了浏览器与服务器全双工(full-duplex)通信,即允许服务器主动发送消息给客户端 WebSocket 使得客户端和服务器之间的数据交换变得
阅读全文
摘要：一.服务器环境 本人用的是阿里云的ECS的入门机器,配置1核2G,1M带宽,搭了个Hadoop单机环境,供参考 Linux发行版本:Centos7 JDK:阿里云镜像市场中选择JDK8 二.安装步骤 1.从镜像下载Hadoop安装包 这里选择从国内镜像下载,我这里选择是hadoop-2.7.7版本
阅读全文
摘要：一.Vue中的常用指令 什么是指令? 指令就是vue中提供的一些对于页面和数据更为方便的操作, 指令就是以数据去驱动DOM行为的,简化DOM的操作 常用指令 v-text / v-html :用于为标签内部赋值: 两者区别:v-text不能解析html标签.v-html可以解析html标签 v-if
阅读全文
摘要：一.什么是JSON Web Token: 首先要明确的是JSON Web Token:是一个开放标准,这个标准定义了一种用于简洁,自包含的用于通信双方之间以JSON对象的形式安全传递信息的方法 而我们在项目中使用的JWT Token就是通过一定规范生成token,常用于单体应用或者微服务应用下的登录
阅读全文
摘要：什么是Base64编码? Base64是网络上最常见的用于传输8Bit字节码的编码方式之一，Base64就是一种基于64个可打印字符来表示二进制数据的方法 基于64个字符A-Z,a-z，0-9，+，/的编码方式， 是一种能将任意二进制数据用64种字元组合成字符串串的方法，而这个二进制数据和字符串串资
阅读全文
摘要：一.Vue中的计算属性:computed 顾名思义,用于计算,便于计算的属性, 疑问:但是为什么会出现计算属性呢,官方文档已经给出了答案,这里引用官方文档中的原文: 模板内的表达式非常便利，但是设计它们的初衷是用于简单运算的。在模板中放入太多的逻辑会让模板过重且难以维护。例如： 在这个地方，模板不再
阅读全文
摘要：一.Vue-Router环境的安装: 如果使用vue-cli脚手架搭建,项目创建过程中会提示你自否选择使用vue-router,选择使用即可, 二.路由学习 1.路由的配置 vue-cli项目自动创建的路由文件是src包下面的router.js文件,你也可以创建一个文件夹.单独放置路由的js文件 例
阅读全文
摘要：一.表设计过程中应该注意的数据类型 1）更小的通常更好 控制字节长度 2）使用合适的数据类型： 如tinyint只占8个位，char(1024)与varchar(1024)的对比,char用于类似定长数据存储比varchar节省空间，如：uuid（32），可以用char(32). 3）尽量避免NUL
阅读全文
摘要：一.排行榜功能简介 排行榜功能是一个很普遍的需求。使用 Redis 中有序集合(SortedSet)的特性来实现排行榜是又好又快的选择。 一般排行榜都是有实效性的，比如交通数据流中的路口/路段的车流量排行榜,用户积分榜，游戏中活跃度排行榜，游戏装备排行榜等。 面临问题：数据库设计复杂，并发数较高，数
阅读全文
摘要：备注: springboto整合redis依赖于spring-boot-starter-data-redis这个jar 一,项目环境和依赖 1.POM.xml配置 <parent> <groupId>org.springframework.boot</groupId> <artifactId>spr
阅读全文
摘要：版本说明:vue-cli:3.0 主要分为两类： 1.父子组件间的传值 2.非父子组件间的传值 1.父子组件间传值 父组件向子组件传值 第一种方式: props 父组件嵌套的子组件中，使用v-bind:msg=‘xxxx’进行对象的绑定，子组件中通过定义props接收对应的msg对象如图 父组件代码
阅读全文
摘要：Vue生命周期 1.版本说明: vue2.x 文章参考自:https://segmentfault.com/a/1190000014640577?utm_source=tag-newest 2.Vue生命周期图示 Vue 实例有一个完整的生命周期，也就是从开始创建、初始化数据、编译模板、挂载Dom→
阅读全文
摘要：时间项目中的涉及到的时间处理非常多,犹豫SimpleDateFormat的不安全性以及Calendar等类在计算时比较复杂, 往往我们都会使用工具类来封装较多的日期处理函数, 但是JDK8中新增了操作和日期和时间API,添加了很多常见的api,例如日期/时间比较,加减,格式化等等 方便我们操作时间和
阅读全文
摘要：SpringBoot2.x整合定时任务和异步任务处理 一.项目环境 springboot2.x本身已经集成了定时任务模块和异步任务,可以直接使用 二.springboot常用定时任务配置 1.在启动类上使用注解@EnableScheduling开启定时任务,使用@EnableAsync开启异步任务
阅读全文
摘要：单例模式 饿汉式(急切实例化) public class EagerSingleton { /** 1.私有化构造方法 */ private EagerSingleton() { } /** 2.声明静态成员变量并赋初始值-类初始化的时候静态变量就被加载,因此叫做饿汉式 */ public stat
阅读全文
摘要：策略模式 策略模式用于解决判断分支过多的问题,使代码变得简洁和优雅, 策略模式在多种方式在项目中落地,下面举例说明通过指定不同类型的订单使用策略模式执行不同的业务逻辑 文章参考自公众号:石杉的架构笔记 一.项目结构 二.各个类的说明 1.自定义注解 //通过注解中的value值来表示不同的分支,从而
阅读全文
摘要：一.安装node环境 尽量使用高版本的node环境,低版本的node环境会出现各种安装问题 下载地址: http://nodejs.cn/download/ 打开cmd node -v :查看node版本 npm -v :查看npm版本 二.安装vue-cli3 全局安装 npm install -
阅读全文
摘要：Java版本现在已经发布到JDK13了,目前公司还是用的JDK8,还是有必要了解一些JDK8的新特性的,例如优雅判空的Optional类,操作集合的Stream流,函数式编程等等;这里就按操作例举一些常用的Stream流操作; Stream流简介 A sequence of elements sup
阅读全文
摘要：实际项目中,往往有大量的if-else语句进行各种逻辑校验,参数校验等等,大量的if-else,语句使代码变得臃肿且不好维护,本篇文章结合我自己的经验,就减少if-else语句给出以下几种方案,分别适用于不同的场景,供大家参考,如有疑问或者建议,请大家及时指出; 一. 方案一:使用三元表达式: //
阅读全文
摘要：一:什么是ACL和RBAC: ACL: Access Control List 访问控制列表 以前盛行的一种权限设计，它的核心在于用户直接和权限挂钩 优点：简单易用，开发便捷 缺点：用户和权限直接挂钩，导致在授予时的复杂性，比较分散，不便于管理 例子：常见的文件系统权限设计, 直接给用户加权限RBA
阅读全文
