会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
牵着蜗牛🐌去漫步
日常学习,随手一记
博客园
首页
新随笔
联系
订阅
管理
2024年7月28日
mac如何卸载飞连
摘要: 当我们在【应用程序】下面把飞连移到废纸篓时,会提示被锁定无法删除 我们需要先把软件解锁,执行以下命令, 再移到废纸篓即可 sudo /usr/bin/chflags -R noschg /Applications/CorpLink.app
阅读全文
posted @ 2024-07-28 10:07 wzyy
阅读(708)
评论(0)
推荐(0)
编辑
2023年4月12日
Go学习笔记
摘要: 理解指针 指针类型和普通类型区别 package main import ( "fmt" ) type User struct { Id int64 Name string } func (user *User) getUserInfo() string { return fmt.Sprintf("
阅读全文
posted @ 2023-04-12 11:33 wzyy
阅读(38)
评论(0)
推荐(0)
编辑
2023年1月31日
Hadoop:Yarn设计原理
摘要: 一、Yarn基本架构 YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container组成,之间通过RPC通讯 1、ResourceManager:是一个全局的资源管理器,负责整个系统的资源管理和分配。它主要由两个组件构成:调度器(Sche
阅读全文
posted @ 2023-01-31 15:42 wzyy
阅读(280)
评论(0)
推荐(0)
编辑
2022年11月4日
Spark架构设计及常用算子
摘要: 一、架构设计 Driver根据用户代码构建计算流图,拆解出分布式任务并分发到 Executors 中去;每个Executors收到任务,然后处理这个 RDD 的一个数据分片子集 DAGScheduler根据用户代码构建 DAG;以 Shuffle 为边界切割 Stages;基于 Stages 创建
阅读全文
posted @ 2022-11-04 15:38 wzyy
阅读(235)
评论(0)
推荐(1)
编辑
2022年10月11日
浅谈MySQL、Hadoop、BigTable、Clickhouse数据读写机制
摘要: 个人理解,欢迎指正 数据库 引擎 写数据 读数据 补充 MySql InnoDB:支持事务,高速读写性能一般 Myisam:不支持事务,高速读写性能好 以InnoDB更新一条记录为例 1、B+Tree搜索找到这行记录,如果数据页在内存直接返回给【执行器】,否则从磁盘读入内存再返回 2、【执行器】更新
阅读全文
posted @ 2022-10-11 17:22 wzyy
阅读(329)
评论(0)
推荐(0)
编辑
2022年9月28日
布隆过滤器转载
摘要: 简单来说就是利用hash算法计算出hash位,如果找到说明【可能存在】,因为别的值也可能算出同一个hash位,如果找不到说明【一定不存在】 https://www.cnblogs.com/xiaoniuhululu/p/16736861.html https://zhuanlan.zhihu.com
阅读全文
posted @ 2022-09-28 17:09 wzyy
阅读(22)
评论(0)
推荐(0)
编辑
2022年8月16日
元数据治理利器 - Apache Atlas
摘要: 一、功能简介 Atlas 是一组可扩展的核心基础治理服务,使企业能够高效地满足其在 Hadoop 中的合规性要求,并允许与整个企业数据生态系统集成。Apache Atlas 为组织提供开放的元数据管理和治理功能,以构建其数据资产的目录,对这些资产进行分类和治理,并为数据科学家、分析师和数据治理团队提
阅读全文
posted @ 2022-08-16 16:51 wzyy
阅读(1563)
评论(0)
推荐(1)
编辑
2022年8月8日
Atlas启动报错:Caused by: org.apache.solr.common.SolrException: Cannot connect to cluster at xxx.com:2181: cluster not found/not ready
摘要: Atlas启动时报以下错误,看情况是atlas没有在zk上找到solr注册信息;然后发现solr启动命令bin/solr start -force会默认使用内置的zk,不会往公共zk上面注册; 解决方案是solr启动时手动指定一下zk地址即可:bin/solr start -p 8983 -z lo
阅读全文
posted @ 2022-08-08 14:11 wzyy
阅读(657)
评论(0)
推荐(0)
编辑
2022年8月1日
Spark: Cluster Computing with Working Sets
摘要: 本文是对spark作者早期论文《Spark: Cluster Computing with Working Sets》做的翻译(主要借助谷歌翻译),文章比较理论,阅读起来稍微有些吃力,但读完之后总算是对spark有了一个初步的认知,对于后续学习使用spark还是很有帮助的。 摘要 MapReduce
阅读全文
posted @ 2022-08-01 14:35 wzyy
阅读(771)
评论(1)
推荐(0)
编辑
2022年6月3日
MySQL快速安装
摘要: 1、下载地址(mysql5.7) https://downloads.mysql.com/archives/community/ 2、my.cnf 查看代码 #default-character-set=utf8 #socket=/var/lib/mysql/mysql.sock [mysqld]
阅读全文
posted @ 2022-06-03 10:49 wzyy
阅读(111)
评论(0)
推荐(0)
编辑
下一页