摘要：
讨论一下分布式系统传输过程中常见的at least once 还是 at most once 问题。一般在一次传输过程中，失败与否是使用最大等待时间（记为time out）来判断是否传输成功，如果超过了这个时间，说明传输失败。但是用time out来判断是否传输成功，如果失败的时候无法判断是传送过程 阅读全文
摘要：
HBase 架构图 组成部分及作用 Zookeeper在HBase中作用 Master的高可用 RegionServer的监控 元数据的入口 HMaster 不仅有维护集群元数据信息的功能，还能 通过Zookeeper发布自己的位置给客户端 为RegionServer分配Region 维护整个集群的 阅读全文
摘要：
并行数据库存在着几种常见不一致问题： 1.更新丢失：两个并发的写进程同时修改某内容，一个没修改完提交之后另一个又提交，导致其覆盖了第一个提交的写进程内容。 2.脏读：一个操作读到了另外一个操作没有提交的事物，但这个操作是不准确的，有可能被修改，比如回滚 3.不可重复度：同一次查找中的两次读的结果不一 阅读全文
摘要：
常规调优手段 Fetch抓取 某些情况查询不必用MapReduce计算，比如select*，可以直接读取文件 本地模式 有时数据量比较小，hive可以通过本地模式在单台机器上处理所有任务，对于小数据集，执行时间可以被明显缩短。 JVM重用 对于大量小文件，可开启JVM重用，即多个任务共用一个JVM而 阅读全文
摘要：
大多数课程都是站在使用的角度来讲分布式系统如何工作和完成任务，本课程是站在系统设计方面来看，分布式系统是怎样实现，要考虑哪些问题。对我来说受益匪浅，故作为整理。 分布式系统是什么：1.由多个独立的计算机连接在一起的一个系统。必须是多个独立的计算机而不是多核心的单个计算机。2.在用户眼里感觉是单个系统 阅读全文
摘要：
需求分析 1.功能需求（Functional Requirement） 交互式多媒体图书平台的功能需求如下： 交互式多媒体图书平台包括读者端和作者端； 作者可以编排图书的目录结构、章节内容，章节内容中包括图片、视频、文字、和集成第三方软件边学边练，能定义常见练习题比如问答题、选择题；作者编辑时可以预 阅读全文
摘要：
我做的是一个识别验证码的深度学习模型，识别的图片如下 验证码图片识别4个数字，数字间是有顺序的，设立标签时设计了四个onehot向量链接起来，成了一个长度为40的向量，然后模型的输入也是40维向量用softmax_cross_entropy_with_logits(labels=,logits=)函 阅读全文
摘要：
（本文仅作为简单介绍，理解原理，如果深入学习请参考其他博文） what is 设计模式？ 无论开发中还是面试中，都需要用到设计模式。设计模式，是软件开发人员在软件开发过程中面临的一般问题的解决方案。这些解决方案是众多软件开发人员经过相当长的一段时间的试验和错误总结出来的。简单地说，就是前人总结出来的 阅读全文
摘要：
正则表式(Regular Expression)简写为regex、regexp或RE正则表达式（相对于找规律），正则表达式是对字符串操作的一种逻辑公式，用事先特定好的一些字符。作用：正则表达式主要用来验证、搜索和替换正则表达式是一个“规则字符串”用来表达对字符串的一种过滤逻辑正则表达式通常被用来检索 阅读全文