摘要： 最常用 使用x64dbg脱壳之开源壳upx - 知乎 (zhihu.com) 在win10等新的机器上使用OD会有莫名其妙的错误，建议使用 dbg 通过 x86dbg 进入有壳的软件后按F7，EntryPoint被入栈，右键添加断点，按F9运行到断点停止 到达真正的入口点，打开插件 Scylla 填 阅读全文

摘要： HBase https://www.cnblogs.com/zhh567/p/17275625.html 用于存储数十亿行数百万列的大数据的kv数据库，基于Google的bigtable论文。Bigtable是一个稀疏的、分布式的、持久的多维排序map。该map以行键、列键、时间戳作为索引，对应的值 阅读全文

摘要： Flink 流处理与批处理最大不同在于数据传输方式： 流处理：一条数据被处理完成后序列化到缓存，然后传输到下一个节点处理（一条一条） 批处理：数据处理完成后缓存到内存，缓存写满后持久化硬盘，所有数据处理完成后再传输到下一个节点（一批一批） Flink以固定的缓存块为单位进行网络数据传输，用户可以通过 阅读全文

摘要： Kafka https://www.cnblogs.com/zhh567/p/17301143.html 磁盘顺序顺序读写速度超过了内存随机读写速度 https://spring.io/projects/spring-kafka kafka 组件： Broker 一个节点就是一个Broker Top 阅读全文

摘要： Spark 宽依赖和窄依赖 窄依赖(Narrow Dependency)： 指父RDD的每个分区只被 子RDD的一个分区所使用， 例如map、 filter等 宽依赖(Shuffle Dependency)： 父RDD的每个分区都可能被 子RDD的多个分区使用， 例如groupByKey、 redu 阅读全文

摘要： Borg Large-scale cluster management at Google with Borg an opportunity cost approach for job assignment in scalable computing cluster Multi-agent Clus 阅读全文

摘要： Storm 的不足 Storm 利用异或操作实现了消息至少处理一次；kafka中利用存储在ZooKeeper的offset使得消息队列重放更加容易。Kafka和Storm组合实现了 At Least Once 消息处理机制。但只有实现“正好一次”（Exactly Once）才能得到正确的结果，为此“ 阅读全文

摘要： Kafka 大数据系统架构是什么样？为什么需要Kafka这样的桥梁作为连接？ Kafka的系统设计与传统MQ有什么不同？ 如何实现分布式？如何动态添加 Broker并通知上下游？ 有了 Kafka 和 Storm 后如何搭建流式处理系统？如何处理故障带来地数据不准确？ Realtime Data P 阅读全文

摘要： S4 流式计算的模型是什么样？要解决哪些问题？ S4是如何设计，如何进行分布式计算的？ S4有哪些缺陷？ 在分析海量用户搜索、广告点击行为时，这个处理数据的的需求和MapReduce生成报表类似，但是要求数据统计的反馈时间尽可能短。如果频繁使用MapReduce将不得不面对： 大量“额外开销”Map 阅读全文

摘要： Spanner Megastore 存在各种缺点：跨实体组事务需要昂贵的两阶段事务，所有跨数据中心的数据写入都通过Paxos算法，使得单个实体组只能支持每秒几次的事务。 Spanner 是一个全新设计的新系统，而不是Megastore或Bigtable上的修修补补。两个主题： 解决了Megastor 阅读全文