摘要：
一,服务端的性能测试 1,性能测试是模拟多种正常、峰值以及异常负载条件来对系统的各项性能指标进行的测试。 2,对服务器端应用程序开展性能测试，是为了验证软件系统是否能够达到预期的性能指标，同时发现软件系统中存在的性能瓶颈，从而实现优化系统的目的二, 性能测试测试方法: 1,基准测试 就像传统的功能测 阅读全文
摘要：
一,独角兽 Gunicorn 服务器作为wsgi app的容器, 采用 pre-fork 模型中有一个管理进程以及几个的工作进程。master 管理多个 slave 进程 创建slave进程,监听事件: 1, 根据定义的 work数量 创建多个 work 进程 2, 在worker.init_pro 阅读全文
摘要：
三,yarn-cluster 模式提交流程 1, 启动脚本, 执行 Spark-Submit 里面的 main 方法 1),对提交参数进行模式匹配,比如 client 模式匹配到的 --class 传递给变量 mainclass 2, 如果是 cluster 模式 , mainclass = "or 阅读全文
摘要：
hdfs 的写流程: 1,申请上传文件, 判断请求合不合法(上传路径有没有存在与你有没有上传权限) 2,返回 datanode 列表(每一个block重新会选出的datanode),以三个为例(首先离Client 最近的一个server) 3,与server建立数据通道,同时 server 向ser 阅读全文
摘要：
kudu 性能优化: 1,maintenance_manager_num_threads Kudu后台对数据进行维护操作，如flush、compaction、inserts、updates、and deletes，一般设置为4，官网建议的是数据目录的3倍 2,block_cache_capacity 阅读全文