08 2017 档案
摘要：1. defmulti 宏defmulti 和defmethod 经常被用在一起来定义 multimethod. 宏defmulti 的参数包括一个方法名以及一个dispatch函数，这个dispatch函数的返回值会被用来选择到底调用哪个重载的函数。宏defmethod 的参数则包括方法名，dis
阅读全文
摘要：1. 单箭头( -> ) 单箭头操作符会把其参数form迭代式地依次插入到相邻的下个一个form中作为该form的第一个参数。这就好像把这些form串起来了，即线性化（Threading）。 由于它总是把前一个参数作为接下来的form的第一个参数插入，这种操作也叫 thread-first 。注意，
阅读全文
摘要：1. storm 事务 对于容错机制，Storm通过一个系统级别的组件acker，结合xor校验机制判断一个msg是否发送成功，进而spout可以重发该msg，保证一个msg在出错的情况下至少被重发一次。但是在一些事务性要求比较高的场景中，需要保障一次只有一次的语义，比如需要精确统计tuple的数量
阅读全文
摘要：1. 核心原理 一个运行中的拓扑是由什么组成的：worker进程，executors和tasks。Storm是按照下面3种主要的部分来区分Storm集群中一个实际运行的拓扑的：Worker进程、Executors (线程) 以及真正实施计算的Tasks(任务)，先简单回顾一下storm几个核心概念：
阅读全文
摘要：高级用法： （1）作攻击程序用，例子： 格式1：type.exe c:\exploit.txt|nc -nvv 192.168.x.x 80 格式2：nc -nvv 192.168.x.x 80 < c:\exploit.txt 讲解：连接到192.168.x.x的80端口，并在其管道中发送’c:\
阅读全文
摘要：netcat被誉为网络安全界的’瑞士军刀’，相信没有什么人不认识它吧……一个简单而有用的工具，透过使用TCP或UDP协议的网络连接去读写数据。它被设计成一个稳定的后门工具，能够直接由其它程序和脚本轻松驱动。同时，它也是一个功能强大的网络调试和探测工具，能够建立你需要的几乎所有类型的网络连接，还有几个
阅读全文
摘要：1. kafka整体结构图 Kafka名词解释和工作方式 Producer ：消息生产者，就是向kafka broker发消息的客户端。 Consumer ：消息消费者，向kafka broker取消息的客户端 Topic ：咋们可以理解为一个队列。 Consumer Group （CG）：这是ka
阅读全文
摘要：1. 编程模型 DataSource：外部数据源 Spout：接受外部数据源的组件，将外部数据源转化成Storm内部的数据，以Tuple为基本的传输单元下发给Bolt Bolt:接受Spout发送的数据，或上游的bolt的发送的数据。根据业务逻辑进行处理。发送给下一个Bolt或者是存储到某种介质上。
阅读全文
摘要：1. 客户端运行storm nimbus时，会调用storm的python脚本，该脚本中为每个命令编写一个方法，每个方法都可以生成一条相应的java命令。 命令格式如下：java -server xxxx.ClassName -args 2. nibums启动之后，接受客户端提交任务 命令格式：st
阅读全文
