摘要: ref: https://zhuanlan.zhihu.com/p/380696700 心理素质是一个人整体素质的基础,人和人之间竞争,心理素质常常会很大程度上影响到一个人能力和水平的发挥。 面对失败和挫折,有的人能够积极振作,东山再起,而有的人却一蹶不振,自暴自弃。 心理素质差的人容易受到周围的影 阅读全文
posted @ 2024-03-03 12:17 dddddcoke 阅读(37) 评论(0) 推荐(0) 编辑
摘要: What is BigTable? 分布式nosql database BigTable HBase Cassandra DynamoDB 文件系统:简单读写文件操作 数据库系统: 建立在文件系统,负责主治把一些数据存到文件系统,对外的接口比较方便操作数据。 数据最终都会存到文件里面。 从文件系统的 阅读全文
posted @ 2024-02-28 06:01 dddddcoke 阅读(7) 评论(0) 推荐(0) 编辑
摘要: 分布式系统 谷歌三剑客 Distributed File System(Google FIle System) 如何有效存储数据? Nosql底层需要一个文件系统 Bigtable = Nosql database 怎么链接底层存储和上层数据 Map Reduce 怎么快速处理数据 GFS C++ 阅读全文
posted @ 2024-02-27 12:46 dddddcoke 阅读(7) 评论(0) 推荐(0) 编辑
摘要: 大数据职位 分布式数据处理框架 count the word frequency of a web page? for循环,存在hashmap 缺点:只有一台机器, 慢,内存大小受限。 多台机器,并行处理 合并的时候是瓶颈。 map把任务打散,reduce把任务合并 step1 input 输入 0 阅读全文
posted @ 2024-02-27 05:31 dddddcoke 阅读(5) 评论(0) 推荐(0) 编辑
摘要: 2024/02/04 c1 - c4 Chapter 1: scale from zero to millions of users single server setup DNS domain name system is 3rd party service that parses domain 阅读全文
posted @ 2024-02-05 13:10 dddddcoke 阅读(6) 评论(0) 推荐(0) 编辑
摘要: Scenerio: fuctional requirements: generate valid coupons users can only get one coupon per day validate coupon non-functional requirements: availabili 阅读全文
posted @ 2024-01-24 09:54 dddddcoke 阅读(29) 评论(0) 推荐(0) 编辑
摘要: scenario: 分享链接长度过长,字数限制 google url shortener, bitly 根据long url生成一个short url 根据short url还原long url。访问http://bit.ly/跳转到 确认的问题: long url和short url之间必须是一一 阅读全文
posted @ 2024-01-23 05:23 dddddcoke 阅读(8) 评论(0) 推荐(0) 编辑
摘要: 采集项目&数据仓库项目(是企业中数据管理平台中的两个核心管理模块) 采集项目:数据采集,传输为主(flume, kafka, datax, maxwell) 数据仓库:以计算为主,同时存储数据(mysql, HDFS, Spark, Flink , MR, Hive) 数据库&数据仓库 数据库dat 阅读全文
posted @ 2024-01-21 12:32 dddddcoke 阅读(26) 评论(0) 推荐(0) 编辑
摘要: web是怎么工作的? URL:https://www.google.com 域名 首先访问最近的DNS服务器 domain name service DNS记录了这个域名的ip地址是什么 浏览器向该ip地址发送http/https(传输协议)请求。每台服务器/计算机联网都需要一个ip地址。通过ip地 阅读全文
posted @ 2024-01-12 09:12 dddddcoke 阅读(2) 评论(0) 推荐(0) 编辑
摘要: 尽管此刻没有如愿以偿找到合适的ft,但我希望能够充分认识到自己的不足,积蓄力量。相信在不久的将来会有爆发的机会。 知识的广度(component, 目的)和深度(sde1: 3年以内,sde2: 4年以上,sde3:team lead,org impact可小可大,深度,3+:org lead, 领 阅读全文
posted @ 2024-01-09 09:26 dddddcoke 阅读(7) 评论(0) 推荐(0) 编辑