My Blog
摘要: (目录) 项目需求 最近,项目接到了一个新需求,要求对指定URL进行后端模拟前端请求,对页面进行截图,具体要求如下: 纯后端模拟,不打开前端页面 截全屏,也就是不管页面有多长,都要截取到一张图片上 只要求截取浏览器DOM以内的部分,DOM以外不要截取 保证页面不失真,页面渲染与实际一直 确保图片清晰 阅读全文
posted @ 2020-09-23 13:46 王心森 阅读(1465) 评论(0) 推荐(3) 编辑
摘要: 引言 知乎上看到一遍不错的转行手册,记录下来,留给以后的自已! 原文地址:https://www.zhihu.com/question/53226652?sort=created 一、首先要搞清楚对未来迷茫的原因是什么? 作为程序员来说,其实程序员的工资并不低,同时在IT行业工作,你的发展前景还是非 阅读全文
posted @ 2021-01-18 20:09 王心森 阅读(1547) 评论(0) 推荐(0) 编辑
摘要: yarn工作流程图 yarn详细工作流程 第一步:客户端向ResourceManager 申请运行程序 第二步:ResourceManager 检查是否有运行权限,如果有就会返回jobid和程序提交的资源路径 第三步:根据ResourceManager返回的信息,然后执行 第四步:客户端提交程序的资 阅读全文
posted @ 2020-12-30 11:00 王心森 阅读(1707) 评论(0) 推荐(1) 编辑
摘要: Yarn的三种调度器(Scheduler) 1:FIFO Scheduler:先进先出调度策略 2:Capacity Scheduler:可以看作是FIFO Scheduler的多队列版本 3:Fair Scheduler:多队列、多用户资源共享 阅读全文
posted @ 2020-12-28 19:37 王心森 阅读(608) 评论(0) 推荐(0) 编辑
摘要: Hadoop序列化机制的特点 1:紧凑:高效使用存储空间 2:快速:读写数据的额外开销小 3:可扩展:可透明地读取老格式的数据 4:互操作:支持多语言的交互 Java序列化的不足 1:不精简,附加信息多,不大适合随机访问 2:存储空间大,递归地输出类的超类描述直到时不再有超类 3:扩展性差,Hado 阅读全文
posted @ 2020-12-28 19:36 王心森 阅读(208) 评论(0) 推荐(0) 编辑
摘要: MapReduce之Map阶段执行过程 1:框架会把输入文件(夹)划分为很多InputSplit,默认,每个HDFS的Block对应一个InputSplit。通过RecordReader类,把每个InputSplit解析成一个个<K1,V1>。默认,每一行会被解析成一个<K1,V1>。 2:框架调用 阅读全文
posted @ 2020-12-28 19:34 王心森 阅读(500) 评论(0) 推荐(1) 编辑
摘要: (目录) 一、Http无状态协议请求图例 二、会话机制图例 三、Cookie机制下的会话图例 四、单系统下Cookie实现登录图例 五、多系统单点登录 1.登录图例 2.注销图例 阅读全文
posted @ 2020-12-16 16:06 王心森 阅读(154) 评论(0) 推荐(0) 编辑
摘要: (目录) 一、前言 我之前写过一篇计算引擎分享文章(简单计算引擎分享),受限于计算场景,文章内只实现了“双元组”公式计算,本篇文章将继续对其计算方法进行改进,实现支持“多元组”公式的计算。 二、限定场景 与简单计算引擎分享一样,我们也先来确定好支持场景: 1.设定计算公式仅支持加减乘除法的计算(不变 阅读全文
posted @ 2020-09-27 18:01 王心森 阅读(393) 评论(0) 推荐(0) 编辑
摘要: (目录) 在Java开发中,一般情况下,程序员不需要自己动手管理内存对象的生命周期,因为Java内部有完善的垃圾自动回收机制,但是,如果你希望某些对象具备一定的生命周期的话,就需要了解到以下四种引用类别了,级别由高到低依次为:强引用、软引用、弱引用和虚引用。 强引用(StrongReference) 阅读全文
posted @ 2020-09-22 18:03 王心森 阅读(181) 评论(0) 推荐(0) 编辑
摘要: 目录 网上有很多关于ThreadLocal的介绍,有的介绍比较简单,也有的介绍很复杂,比较难懂,今天,自己结合它的源码,也做个简易梳理,记录如下! ThreadLocal的作用 在多请求并发访问过程中,我们往往需要将一个指定变量隔离起来,达到只对当前线程可用,其他线程不可用的效果,因此,我们就会使用 阅读全文
posted @ 2020-09-21 16:40 王心森 阅读(559) 评论(0) 推荐(0) 编辑