摘要：
【转】https://www.cnblogs.com/wuchanming/p/3746565.html#undefined 先占坑，用到再来搬。 IOzone是一个文件系统测试基准工具。可以测试不同的操作系统中文件系统的读写性能。可以通过 write, re-write, read, re-rea 阅读全文
摘要：
前述 采用confluent kafka-rest proxy实现kafka restful service时候（具体参考上一篇笔记），通过http协议数据传输，需要注意的是采用了base64编码（或者称之为加密），如果消息再post之前不采用base64处理将会出现：服务端消息乱码、程序报错等，因 阅读全文
摘要：
问题引出 新产品的体系架构包含多个模块，模块集特点是数量多、模块间交互复杂。那么统一接口是一个很好的解决方案，为了实现统一接口打算采用微服务的核心思想，设计了采用restful service的数据交互方式技术架构。这里记录一下kafka资源访问的服务化搭建，后续记录api和实战。 解决方案 res 阅读全文
摘要：
背景 背景 自动化是持续集成生态中必不可少的一环，起到了一个推动力的作用。因此对于自动化用例报表体现错误时候，就会有一个十分麻烦的工作“查错”或者“问题定位”。如果您是业务专家同时又是十分熟悉自动化平台，那么凭借经验和技术能力也很快能定位出问题。但是对于开发和测试人员只看到“您提交的代码，导致什么错 阅读全文
摘要：
1.ETL名词解释 英文缩写 Extract-Transform-Load ，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至到目的端（一般指的是数据仓库）的过程。 目的 一般企业按照组织架构设置不同部门，而且部门为了提供自我智能化运转会建立自己的自动 阅读全文
摘要：
最近工作交接，闲暇时间比较多，为BI和AI积累一些“硬货”吧！ 1.对象存储系统设计 这里主要是为了实现高可用与个性化存储方式，因为在数据分析中，源数据系统DB与我们目的数据仓库大多数存在差异。定义一个对所有数据都可以存储的数据存储系统是十分必要的。 2.hadoop、storm和spark 大数据 阅读全文
摘要：
最近在重装系统，在安装python IDE时候依然安装了sublime Text3和intellij Idea（冏，别问为什么没安装pycharm，0-0 逃）。首先是已然将之前一直使用的sublime3备份插件一一安装上，再加上一堆个性化设置，恢复如初。到这里真的感觉好累，毕竟我们搬砖的都不喜欢重 阅读全文
摘要：
背景 背景 大多数情况下主机资源只有开发和测试相关人员可以登录直接操作，且有些特定情况“答辩、演示、远程”等这些场景下是无法直接登录主机的。web是所有终端用户都可以访问了，解决了人员权限与特定场景带来的问题。那么我们就来看看最简单的web服务器是怎么创建的~~ 具体实现 具体实现 首先搭建pyth 阅读全文
摘要：
背景： 自动化测试行业内，个人觉得主力语言是python、java。这里讨论下基于python自动化框架设计与case开发，用过python的都知道它的好处，但是根据实际项目需要有了很多迎面而来的困难--主机迁移、第三方软件包与python版本、环境杂乱、外界影响等。这些问题都是很糟糕的，给开发人员 阅读全文
摘要：
#server.properties配置文件 broker.id=1 port=9092 host.name=url1 zookeeper.connect=url1:2181,url2:2181,url3:2181 num.network.threads=8 #broker处理消息的最大线程数 一般等于核心数 num.io.threads=8# 同上 socket.send.buffe... 阅读全文