05 2020 档案

一款资源管理器(支持多标签,shift键预览)
摘要：QTTabBar 「资源管理器」该有的样子 - 少数派 https://sspai.com/post/52521shiflt 阅读全文
posted @ 2020-05-31 10:30 bitbitbyte 阅读(117) 评论(0) 推荐(0) 编辑
cache(缓存)和buffer(缓冲)的区别
摘要：Cache核心作用是加快取用的速度.Buffer核心作用是用来做缓冲. 避免资源大量重复调用, 将多个调用合并成一个.缓冲和缓存名称是不一样的, 叫write-buffer和read-cache.两个误解:不要误解Buffer就是用来写的, Cache就是用来的不要误解Cache或Buffer一定就指内存. 只要是相对高速即可详见:Cache(缓存)和 Buffer（缓冲），主要区别是什么？ 阅读全文
posted @ 2020-05-28 07:12 bitbitbyte 阅读(319) 评论(0) 推荐(0) 编辑
IDEA中编写并运行shell脚本
摘要：IDEA中编写并运行shell脚本 阅读全文
posted @ 2020-05-27 15:59 bitbitbyte 阅读(591) 评论(0) 推荐(0) 编辑
ignore插件
摘要：在将项目同步到远程仓库时需要编写忽略文件, 该过程可以借助ignore插件使用详见.ignore插件的安装与使用 阅读全文
posted @ 2020-05-27 09:53 bitbitbyte 阅读(462) 评论(0) 推荐(0) 编辑
redis如何删除list中特定索引的值
摘要：Redis可以通过LINDEX key index获取list中的特定值, 但无法直接删除特定索引下的值. LSET与LREM结合删除list中特定索引的值 两步: 先用LSET在指定索引位置上设置特殊值: LSET key index value在指定索引位置的值替换为value 再用LREM删除该特殊值: LREM key n value, 从左边删除n个value 例如删除lis... 阅读全文
posted @ 2020-05-27 08:26 bitbitbyte 阅读(4765) 评论(0) 推荐(0) 编辑
转载:HDFS-Datanode磁盘选择策略源码分析
摘要：Datanode节点会配置多块数据盘，当我们往 HDFS 上写入新的数据块，DataNode 将会使用 volume 选择策略来为数据块选择存储的磁盘目录。选择正确的策略可以避免单块磁盘数据过多.HDFS在写入时有两种策略:基于轮询策略(默认), 不考虑文件大小基于可用空间的策略轮询策略核心代码// 遍历磁盘列表 while (true) { final V volume = vo... 阅读全文
posted @ 2020-05-26 20:45 bitbitbyte 阅读(264) 评论(0) 推荐(0) 编辑
罗昭峰文献管理与信息分析mooc笔记整理
摘要：mooc网址：http://mooc.guokr.com/course/1301/文献管理与信息分析/mooc笔记：http://mooc.guokr.com/course/1301/文献管理与信息分析/note/第一至三周笔记整理：http://mooc.guokr.com/note/20617/分享的几句话：http://mooc.guokr.com/note/10141/课程中涉及到的手机a... 阅读全文
posted @ 2020-05-26 20:07 bitbitbyte 阅读(622) 评论(0) 推荐(0) 编辑
vim键盘
摘要：群里有分享一个很不错的vim键盘图, 这里也分享出来.常用:ZZ: 保存退出ZQ: 不保存退出A: 行尾追加i: 插入I: 行首插入:/ 搜索%s/x/y/g(全局替换)u 撤销命令 阅读全文
posted @ 2020-05-26 19:50 bitbitbyte 阅读(195) 评论(0) 推荐(0) 编辑
redis中的设置bind绑定ip不是设置白名单
摘要：在redis的network设置中如果没有通过bind绑定ip, 并且也没有配置密码, 那么保护模式就开启, 只允许本机访问. 这里设置bind绑定ip, 绑定的一样是本机ip, 只是本机有多个ip, 选绑定. 而不是指白名单, 只有绑定后的主机才能访问该redis服务, 而是要想访问该redis只能通过该ip. 例如如果设置了band 127.0.0.1, 则只能通过该ip访问, 哪怕是loc... 阅读全文
posted @ 2020-05-26 07:57 bitbitbyte 阅读(3109) 评论(0) 推荐(0) 编辑
YARN调度架构中的AppMaster
摘要：YARN调度架构 esourceScheduler是YARN的调度器，负责Container的分配。 AsyncDispatcher是单线程的事件分发器，负责向调度器发送调度事件。 ResourceTrackerService是资源跟踪服务，主要负责接收处理NodeManager的心跳信息。 App 阅读全文
posted @ 2020-05-24 19:45 bitbitbyte 阅读(996) 评论(0) 推荐(0) 编辑
git命令大全
摘要：概述 git安装好后, 可以在任何一个文件夹,右键打开Git Bash. 可以在该程序中直接运行linux命令或git命令 git工作机制的核心在于3个区: 工作区: 电脑的本地目录(该目录中有创建的.git目录) 暂存区: 暂存区的数据保存在.git/index文件中 本地仓库: 一般从远程仓库通过clone创建, 之后可以通过pull保持与远程仓库的同步; 另一种方式是使用init在当... 阅读全文
posted @ 2020-05-24 15:24 bitbitbyte 阅读(329) 评论(0) 推荐(0) 编辑
Spark之Yarn Cluster运行机制内核源码解读
摘要：简介 Spark有3种集群管理器: Standalone Hadoop YARN 又分为yarn client与yarn cluser Apache Mesos 生产环境中一般使用yarn cluser模式 个人理解 yarn主要有两个作用. 一个是创建Container以此来分配计算资源 另外一个是在Container上运行ExecutorBackend建立起除yarn之外的... 阅读全文
posted @ 2020-05-24 10:33 bitbitbyte 阅读(448) 评论(0) 推荐(0) 编辑
YARN调度器的性能瓶颈
摘要：DataNode主机上的AppMaster向ResoureSchedule请求资源, ResoureSchedule 向 AppMaster 返回资源. 同时这个过程是异步的. AppMaster是一个yarn任务运行时第一个由RM启动的container，然后负责整个任务的运行，包括contain 阅读全文
posted @ 2020-05-24 10:30 bitbitbyte 阅读(453) 评论(0) 推荐(0) 编辑
kafka重新安装
摘要：重装需要删除zookeeper与kafka所有brokers的中相关目录 删除zookeeper以下与kafka相关的各个目录 登陆zookeeper bin/zkCli.sh -server node01:2181,node02:2181,node03:2181 注意-server需要设置为整个集 阅读全文
posted @ 2020-05-19 21:25 bitbitbyte 阅读(806) 评论(0) 推荐(0) 编辑
scala中的特殊符号:下划线_
摘要：导包, 通配符 _ import java.util.Math._ 屏蔽类 import java.util.{Hashmap => _, _} 给可变参数传值时, 展开 foo(arr:_*) 元组元素访问 t._1 函数参数的占位符 reduce(_ + _) 方法转函数 val f = foo 阅读全文
posted @ 2020-05-04 06:50 bitbitbyte 阅读(203) 评论(0) 推荐(0) 编辑
scala之函数式编程根本概念-纯函数
摘要：什么是纯函数 纯函数是函数式编程中的一个根本概念. 纯函数要求一个函数输入对应输出, 没有其它任何副作用, 且引用透明. 过程: 没有返回值, 只有副作用的函数 一个纯函数有以下要求: 没有副作用 不向控制台打印 不向文件写入数据 不更改外部变量 不向其它文件系统写入数据 引用透明 这个函数执行结果 阅读全文
posted @ 2020-05-01 09:02 bitbitbyte 阅读(180) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示