摘要：
1. storm 事务 对于容错机制，Storm通过一个系统级别的组件acker，结合xor校验机制判断一个msg是否发送成功，进而spout可以重发该msg，保证一个msg在出错的情况下至少被重发一次。但是在一些事务性要求比较高的场景中，需要保障一次只有一次的语义，比如需要精确统计tuple的数量 阅读全文
摘要：
1. 核心原理 一个运行中的拓扑是由什么组成的：worker进程，executors和tasks。Storm是按照下面3种主要的部分来区分Storm集群中一个实际运行的拓扑的：Worker进程、Executors (线程) 以及真正实施计算的Tasks(任务)，先简单回顾一下storm几个核心概念： 阅读全文
摘要：
高级用法： （1）作攻击程序用，例子： 格式1：type.exe c:\exploit.txt|nc -nvv 192.168.x.x 80 格式2：nc -nvv 192.168.x.x 80 < c:\exploit.txt 讲解：连接到192.168.x.x的80端口，并在其管道中发送’c:\ 阅读全文
摘要：
netcat被誉为网络安全界的’瑞士军刀’，相信没有什么人不认识它吧……一个简单而有用的工具，透过使用TCP或UDP协议的网络连接去读写数据。它被设计成一个稳定的后门工具，能够直接由其它程序和脚本轻松驱动。同时，它也是一个功能强大的网络调试和探测工具，能够建立你需要的几乎所有类型的网络连接，还有几个 阅读全文
摘要：
1. kafka整体结构图 Kafka名词解释和工作方式 Producer ：消息生产者，就是向kafka broker发消息的客户端。 Consumer ：消息消费者，向kafka broker取消息的客户端 Topic ：咋们可以理解为一个队列。 Consumer Group （CG）：这是ka 阅读全文
摘要：
1. 编程模型 DataSource：外部数据源 Spout：接受外部数据源的组件，将外部数据源转化成Storm内部的数据，以Tuple为基本的传输单元下发给Bolt Bolt:接受Spout发送的数据，或上游的bolt的发送的数据。根据业务逻辑进行处理。发送给下一个Bolt或者是存储到某种介质上。 阅读全文
摘要：
1. 客户端运行storm nimbus时，会调用storm的python脚本，该脚本中为每个命令编写一个方法，每个方法都可以生成一条相应的java命令。 命令格式如下：java -server xxxx.ClassName -args 2. nibums启动之后，接受客户端提交任务 命令格式：st 阅读全文
摘要：
消息通过各种方式进入到Kafka消息中间件，比如可以通过使用Flume来收集日志数据，然后在Kafka中路由暂存，然后再由实时计算程序Storm做实时分析，最后将结果保存在HDFS中，这时我们就需要将在Storm的Spout中读取Kafka中的消息，然后交由具体的Spot组件去分析处理。下面开发一个 阅读全文
摘要：
IMP-00058: 遇到 Oracle 错误 1691ORA-01691: Lob 段YQPRO.SYS_LOB0000031467C00006$$无法通过128（在表空间YQPRO中）扩展这种情况是由于表空间 容量不够引起的，需要扩大表空间就可以了 方法1：给表空间增加数据文件 ALTER TA 阅读全文
摘要：
Missing artifact com.sun:tools:jar 1.7.0 解决办法一： 手动配置pom.xml，添加一个dependency如下： 即可！ 如果办法不能解决，试用第二种方法。 解决办法二： 首先，查看错误列表windows->Show View->Problems,在有以上问 阅读全文