12 2021 档案
摘要：架构与运维： 概述： Spark是一个分布式计算引擎，由 Scala 语言编写的计算框架，基于内存的快速、通用、可扩展的大数据分析引擎；Spark的计算模式也属于MapReduce；Spark框架是对MR框架的优化； 比较： MapReduce Spark数据存储结构：磁盘HDFS文件系统的spli
阅读全文
摘要：系统相关： ubuntu destop与server版： 确认版本： systemctl status display-managergdm： systemctl status gdmligthdm systemctl status lightdm，通过命令apt-get install light
阅读全文
摘要：软件设计六大原则： 开闭原则（Open Close Principle）： 概述： 对扩展开放，对修改关闭。在程序需要进行拓展的时候，不能去修改原有的代码。所以一句话概括就是：为了使程序的扩展性好，易于维护和升级。想要达到这样的效果，我们需要使用接口和抽象类。 里氏代换原则（Liskov Subst
阅读全文
摘要：操作系统历史： 手工操作--穿孔卡片 概述： 将对应于程序和数据的已穿孔的纸带（或卡片）装入输入机，然后启动输入机把程序和数据输入计算机内存，接着通过控制台开关启动程序针对数据运行；计算完毕，打印机输出计算结果；用户取走结果并卸下纸带（或卡片）后，才让下一个用户上机。 缺点： 手工操作的慢速度和计算
阅读全文
摘要：入门简介： 开发语言： 高级语言：Python、Java、PHP、 C#、Go、ruby、C++：写英文，软件转给C语言再化为0101位交给操作系统低级语言：C、汇编 机器码和字节码： 机器码：0101系统能识别的，低级语言转换字节码成机器码字节码：高级语言内部转换的语言 语言之间的对比： 高级语言
阅读全文
摘要：性能分析： 1.种类： 基于事件的性能分析 通过收集程序执行过程中的具体事件进行工作，每个调用都会触发，输出数据量大，精度高 def profiler(frame, event, arg): print 'PROFILER: %r %r' % (event, arg) sys.setprofile(
阅读全文
摘要：介绍： CAP理论中的CP模型特点： 高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, 由多个consumer group 对partition进行consume操作。 可扩展性：kafka集群支持热扩展 持久性、可靠性：消息
阅读全文
摘要：入门： 介绍： 属于NoSQL数据库的一种，Not Only SQL 键值(Key-Value)存储数据库：字典的键用的哈希算法，key唯一 列存储数据库：查询快 文档型数据库: 图形(Graph)数据库：redis是业界主流的key-value nosql 数据库之一。和Memcached类似各个
阅读全文
摘要：mysql安装： 安装： wget https://cdn.mysql.com//Downloads/MySQL-8.0/mysql-8.0.15-1.el7.aarch64.rpm-bundle.tarsudo rpm -Uvh mysql80-community-release-el7-2.no
阅读全文
摘要：基本概念： 发展： 1.SE 标准版。桌面应用（不如c#）、服务器、基础框架。2.EE 企业版，基于SE。网站应用、大型分布式系统、互联网开发。3.ME 小型设备、智能卡、嵌入式设备。（不如C语言） JDK、JRE和JVM： JDK： 称为Java开发工具包（ Java Development Ki
阅读全文
摘要：环境变量： GOPATH： window下默认值路径为%USERPROFILE%/go，可以删掉新建，然后所有的项目代码放在src子目录下GOPATH路径下有三个目录src pkg bin 具体的子代码放在src/xxx/xxx.go，这样就可以go mod init了 GOROOT： 是我们安装g
阅读全文
摘要：三次握手过程： 1）第一次握手：客户端向服务端发送一个 SYN 报文（SYN = 1），并指明客户端的初始化序列号 ISN(x)，即图中的 seq = x，表示本报文段所发送的数据的第一个字节的序号。此时客户端处于 SYN_Send 状态。 SYN-SENT ：在发送连接请求后等待匹配的连接请求 2
阅读全文
摘要：基本介绍： 概述： 一个实现项目版本控制的软件，通过快照保存代码修改部分而非简单复制。 工作原理： .git是Git的版本库。stage（或者叫index）称为暂存区，Git自动创建的第一个分支master，以及指向master的一个指针叫HEAD 新建流程： 1.github上创建新项目 2.初始
阅读全文
摘要：leetcode刷题后，自己总结了一些心得。 链接：题型归纳， 如动态规划、二分、位图、广深度、树、链表、单调栈等
阅读全文
摘要：浅谈网易大数据平台下的数据质量-社区博客-网易数帆 伴鱼数据质量中心的设计与实现 | 伴鱼技术团队 (ipalfish.com)
阅读全文
摘要：kafka监控平台：https://github.com/smartloli/EFAK flink作业管理平台：https://github.com/zhp8341/flink-streaming-platform-web 数据可视化：https://github.com/dataease/data
阅读全文
