08 2017 档案
摘要：不多说，直接上干货！ Apache Atlas是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目，它为Hadoop集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力。 http://www.jianshu.com/p/4eee91bc
阅读全文
摘要：不多说，直接上干货！ 第一步：卸载CentOS中自带openjdk Centos 6.5下的OPENJDK卸载和SUN的JDK安装、环境变量配置 第二步：安装Intellij IDEA 若是3节点如，master、slave1、slave2，则建议将其安装在master节点上 到https://ww
阅读全文
摘要：不多说，直接上干货！ spark-1.6.1-bin-hadoop2.6里Basic包下的JavaPageRank.java 没结果，暂时 spark-2.2.0-bin-hadoop2.6里Basic包下的JavaPageRank.java 没结果，暂时
阅读全文
摘要：不多说，直接上干货！ spark-1.6.1-bin-hadoop2.6里Basic包下的SparkPageRank.scala 暂时还没运行出结果、 spark-2.2.0-bin-hadoop2.6里Basic包下的SparkPageRank.scala
阅读全文
摘要：不多说，直接上干货！ spark-1.6.1-bin-hadoop2.6里Basic包下的JavaTC.java spark-2.2.0-bin-hadoop2.6里Basic包下的JavaTC.java
阅读全文
摘要：不多说，直接上干货！ 前言 其实啊，无论你是初学者还是具备了有一定spark编程经验，都需要对spark源码足够重视起来。 本人，肺腑之己见，想要成为大数据的大牛和顶尖专家，多结合源码和操练编程。 好一段时间之前，写过这篇博客 使用 IntelliJ IDEA 导入 Spark 最新源码及编译 Sp
阅读全文
摘要：不多说，直接上干货！ spark-1.6.1-bin-hadoop2.6里Basic包下的SparkTC.scala
阅读全文
摘要：不多说，直接上干货！ 见具体， Hadoop+Spark大数据巨量分析与机器学习整合开发实战的第13章 使用决策树二元分类算法来预测分类StumbleUpon数据集 见具体 Hadoop+Spark大数据巨量分析与机器学习整合开发实战的第14章 使用逻辑回归二元分类算法来预测分类StumbleUpo
阅读全文
摘要：不多说，直接上干货！ 首先，要明白为什么有时候，数值特征字段需要进行标准化？ 答：因为，当我们若用回归分析算法时，必须将数值特征字段进行标准化，这是因为数值特征字段单位不同，数字差异很大，所以无法彼此比较，这时，就需要使用标准化，使得数值特征字段具有共同的标准。 加入数据标准化 withMean =
阅读全文
摘要：不多说，直接上干货！ spark-1.6.1-bin-hadoop2.6里Basic包下的JavaSparkPi.java spark-2.2.0-bin-hadoop2.6里Basic包下的JavaSparkPi.java
阅读全文
摘要：不多说，直接上干货！ jdk1.8 源码, Linux的同学可以用的上. 由于源码JDK是前版本的超集, 所以1.4, 1.5, 1.6, 1.7都可以用的上. 其实大家安装的jdk路径下，这里面是已经有的。只是有些人安装下来之后，删除了。 前言：这件事情的重要性不言而喻，对于学习和观摩优秀的代码非
阅读全文
摘要：不多说，直接上干货！ spark-1.6.1-bin-hadoop2.6里Basic包下的SparkPi.scala spark-2.2.0-bin-hadoop2.6里Basic包下的SparkPi.scala
阅读全文
摘要：不多说，直接上干货！ 关于下载，这两个spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包不多赘述。 我是解压在D:\SoftWare方便为了导入其中的所需jar包 这里，我是在Scala IDEA for Eclipse里，手动来构建spar
阅读全文
摘要：不多说，直接上干货！ 具体，见 Hadoop+Spark大数据巨量分析与机器学习整合开发实战的第13章 使用决策树二元分类算法来预测分类StumbleUpon数据集
阅读全文
摘要：不多说，直接上干货！ 字段3 是分类特征字段，但是呢，在分类算法里不能直接用。所以，必须要转换为数值字段才能够被分类算法使用。 具体，见 Hadoop+Spark大数据巨量分析与机器学习整合开发实战的第13章 使用决策树二元分类算法来预测分类StumbleUpon数据集
阅读全文
摘要：不多说，直接上干货！ 具体，见 Hadoop+Spark大数据巨量分析与机器学习整合开发实战的第13章 使用决策树二元分类算法来预测分类StumbleUpon数据集
阅读全文
摘要：不多说，直接上干货！ 具体，见 Hadoop+Spark大数据巨量分析与机器学习整合开发实战的第13章 使用决策树二元分类算法来预测分类StumbleUpon数据集
阅读全文
摘要：不多说，直接上干货！ 具体，见 Hadoop+Spark大数据巨量分析与机器学习整合开发实战的第13章 使用决策树二元分类算法来预测分类StumbleUpon数据集
阅读全文
摘要：不多说，直接上干货！ 具体详情见 Hadoop+Spark大数据巨量分析与机器学习整合开发实战的第11章 电影推荐引擎
阅读全文
摘要：不多说，直接上干货！ 问题详情 其实这个就是jvm的jdk版本问题 注意匹配好就是。 然后，成功
阅读全文
摘要：不多说，直接上干货！ 问题详情 以下是我，maven构建出来的最新spark2.2.0-bin-hadoop2.6的项目。 有些依赖包，maven还是无法一次性满足，所以，得手动加入lib的jar包。 其实，这原理很简单，跟hadoop项目是一样的。无非说maven构建项目方便下载jar包，但是也不
阅读全文
摘要：以下是我，手动的一个项目 假设，大家，还需要导入 导入spark的jar包：是安装主目录下的jars所有jar包和examples/jars包。
阅读全文
摘要：不多说，直接上干货！ 问题详情 运行出现log4j的问题 解决办法 在项目的pom.xml里添加如下的配置信息 当然，这版本，大家也可以选择个最新的稳定版本，我这里仅仅是个参考。
阅读全文
摘要：不多说，直接上干货！ 问题详情 当出现这类错误时是由于版本不匹配造成的 解决办法 如果你想快速运行的话，就用idea建立的maven项目生成的几个test类和对象注释掉，或者删除掉即可运行。 然后，运行即可。 当然，上面的这种方法不是最彻底的。 File -> settings -> Editor
阅读全文
摘要：不多说，直接上干货！ 为什么，我写了一篇OSSIM 5.2.0的，还要再来写OSSIM 4.1.0呢，是因为，OSSIM 5.2.0所需内存较大，8G甚至16G，但是，肯定性能和里面集成组件越高级。也是博主我推荐大家去用5.2.0的，但是呢，由于很多从事网络安全的博友们，肯定也是想必跟现在的我一样，
阅读全文
摘要：不多说，直接上干货！ 这里，怎么创建，见 Spark编程环境搭建（基于Intellij IDEA的Ultimate版本）（包含Java和Scala版的WordCount）（博主强烈推荐) 这里， 我重点说下spark项目，因为，对于hadoop这样的，我已经写了大量博客了。 比如，我目前用得较多的s
阅读全文
摘要：不多说，直接上干货！ 最近，开始，进一步学习spark的最新版本。由原来经常使用的spark-1.6.1，现在来使用spark-2.2.0-bin-hadoop2.6.tgz。 前期博客 Spark on YARN模式的安装（spark-1.6.1-bin-hadoop2.6.tgz + hadoo
阅读全文
摘要：不多说，直接上干货！ 入门阶段不建议选用最新的版本。 采用OSSIM 4.11 到 OSSIM5.0.3 之间任何版本做实验，sensor的状态都会是“V”。 建议，入门，采用OSSIM5.0.0 下载： 链接:https://pan.baidu.com/s/1eSsVXvG 密码:ukyk 疑问：
阅读全文
摘要：不多说，直接上干货！ 什么是HTTP协议？ HTTP隧道是一种利用HTTP或者是HTTPS把多种网络协议封装起来进行通信的技术。因此，HTTP协议扮演了一个打通用于通信的网络协议的管道的包装器的角色，把其他协议的请求掩盖成HTTP的请求就是HTTP隧道。 什么是HTTP隧道？ HTTP隧道是一种利用
阅读全文
摘要：不多说，直接上干货！ 什么是cookie？ cookie是Web服务器发送给浏览器的一块信息。浏览器会在本地文件中给每一个Web服务器存储cookie。以后浏览器在给特定的Web服务器发请求的时候，同时会发送所有为该服务器存储的cookie。 什么是session？ session是指用来在客户端与
阅读全文
摘要：不多说，直接上干货！ JSP的3大常用指令 包含指令(Include directive)：用来包含文件和合并文件内容到当前的页面。 页面指令(Page directive)：用来定义JSP页面中特定的属性，比如错误页面和缓冲区。 Taglib指令： 用来声明页面中使用的自定义的标签库。 JSP的6
阅读全文
摘要：不多说，直接上干货！ 什么是JSP？ JSP是由sun公司倡导，众多公司参与建立的动态网页技术标准，它在HTML中嵌入Java代码段（Scirptlet）和JSP标签，构成JSP网页，接收到用户请求时，服务器就会处理Java代码片段，将生成结果的 HTML页面返回给客户端。 JSP 全称是 Java
阅读全文
摘要：不多说，直接上干货！ Iterator可用来遍历Set和List集合，但是ListIterator只能用来遍历List。 Iterator对集合只能是前向遍历，ListIterator既可以前向也可以后向。 ListIterator实现了Iterator接口，并包含其他的功能，比如：增加元素，替换元
阅读全文
摘要：不多说，直接上干货！ 迭代器是一种设计模式，它是一个对象，它可以遍历并选择序列中的对象，而开发人员不需要了解该序列的底层结构。迭代器通常被称为“轻量级”对象，因为创建它的代价小。 Java中的Iterator功能比较简单，并且只能单向移动（即只能前向遍历）： (1) 使用方法iterator()要求
阅读全文
摘要：不多说，直接上干货！ 总共有两大接口：Collection 和Map ，一个元素集合，一个是键值对集合； 其中List和Set接口继承了Collection接口，一个是有序元素集合，一个是无序元素集合； 而ArrayList和 LinkedList 实现了List接口，HashSet实现了Set接口
阅读全文
摘要：不多说，直接上干货！ 什么是死锁？ 死锁可以这样理解，就是互相不让步不放弃，同时需要对方的资源。造成互相不满足资源需求，也不放弃自身已有资源。死锁就这样了。 死锁是指多个进程因竞争资源而造成的一种僵局（互相等待），若无外力作用，这些进程都将无法向前推进。 死锁是指两个或两个以上的进程在执行过程中,因
阅读全文
摘要：不多说，直接上干货！ 扩展博客 牛客网Java刷题知识点之多线程同步的实现方法有哪些 为何要使用同步？ java允许多线程并发控制，当多个线程同时操作一个可共享的资源变量时（如数据的增删改查）， 将会导致数据不准确，相互之间产生冲突，因此加入同步锁以避免在该线程没有完成操作之前，被其他线程的调用，从
阅读全文
摘要：不多说，直接上干货！ 为何要使用同步？ java允许多线程并发控制，当多个线程同时操作一个可共享的资源变量时（如数据的增删改查）， 将会导致数据不准确，相互之间产生冲突，因此加入同步锁以避免在该线程没有完成操作之前，被其他线程的调用，从而保证了该变量的唯一性和准确性。 多线程同步的实现方法有 第一种
阅读全文
摘要：不多说，直接上干货！ 1、 新建( new )：新创建了一个线程对象。 2、 可运行( runnable )：线程对象创建后，其他线程(比如 main 线程）调用了该对象 的 start ()方法。该状态的线程位于可运行线程池中，等待被线程调度选中，获 取 cpu 的使用权 。 3、 运行( run
阅读全文
摘要：不多说，直接上干货！ 前期博客 牛客网Java刷题知识点之四种不同的方式创建线程 这里很简单 首先，系统通过调用线程类的start（）方法来启动一个线程，此时这个线程处于就绪状态，而非运行状态，也就意味着这个线程可以被JVM来调度执行。 然后，在这个调度执行过程中，JVM会通过调用线程类的run（）
阅读全文
摘要：不多说，直接上干货！ 有4种方式可以用来创建线程： 第一种：继承Thread类，重写run方法 第二种：实现Runnable接口，并实现该接口的run方法（一般我们在编程的时候推荐用这种） 第三种：实现Callable接口，重写run方法 第四种：应用程序可以使用Executor框架来创建线程池 第
阅读全文
摘要：不多说，直接上干货！ 线程与进程的区别归纳： a.地址空间和其它资源：进程间相互独立，同一进程的各线程间共享。某进程内的线程在其它进程不可见。 b.通信：进程间通信IPC，线程间可以直接读写进程数据段（如全局变量）来进行通信——需要进程同步和互斥手段的辅助，以保证数据的一致性。 c.调度和切换：线程
阅读全文
摘要：不多说，直接上干货！ java只支持单继承，这是由于安全性的考虑，如果子类继承的多个父类里面有相同的方法或者属性，子类将不知道具体要继承哪个，而接口可以多实现，是因为接口只定义方法，而没有具体的逻辑实现，多实现也要重新实现方法。 java不支持多继承，也就是一个子类最多继承一个父类，但是可以同时有多
阅读全文
摘要：不多说，直接上干货！ 方法重写的原则： 方法重载的原则： 重写和重载的不同： 方法重写 发生在子类和父类之间，具体实现是子类对父类中一个可访问（Private修饰的方法不可被继承）方法的重写，保证其方法名、参数个数，参数类型不变。 方法重载发生在一个类中，具体表现为多个方法具有相同的方法名，但其参数
阅读全文
摘要：不多说，直接上干货！ Java语言支持的8种基本数据类型是：byteshortintlongfloatdoublebooleanchar 自动装箱是Java编译器在基本数据类型和对应的对象包装类型之间做的一个转化。比如：把int转化成Integer，double转化成Double，等等。反之就是自动
阅读全文
摘要：不多说，直接上干货！ 前期博客 Apache版Phoenix的安装（图文详解） 问题现象 解决办法 然后，再重启HBase集群。 退出 这里，建议搭建，你若如跟我一样（master、slave1和slave2）集群的话，zookeeper也是都安装在master、slave1和slave2上，则 使
阅读全文
摘要：不多说，直接上干货！ 首先，对于Apache Kylin的安装，我有话要说。 由于Apache Kylin本身只是一个Server，所以安装部署还是比较简单的。但是它的前提要求是Hadoop、Hive、HBase必须已经安装且能正常工作。 以下，是我集群环境的情况 Apache kylin的官网安装
阅读全文
摘要：不多说，直接上干货！ 可扩展的超快OLAP引擎，提供标准SQL查询接口 支持单机或集群部署，为减少在Hadoop上百亿规模数据查询延迟而设计； 提供标准SQL接口，满足Hadoop之上的大部分分析查询需求。 交互式查询能力，多维立方体（MOLAP Cube） 用户能够在Kylin里为百亿以上数据集定
阅读全文
摘要：不多说，直接上干货！ 简单的说Cuboid的维度会映射为HBase的Rowkey，Cuboid的指标会映射为HBase的Value。 Cube映射成HBase存储 如上图原始表所示：Hive表有两个维度列year和city，有一个指标列price。如上图预聚合表所示：我们具体要计算的是year和ci
阅读全文
摘要：不多说，直接上干货！ 1、 Cube的物理模型 Cube物理模型 如上图所示，一个常用的3维立方体，包含：时间、地点、产品。假如data cell 中存放的是产量，则我们可以根据时间、地点、产品来确定产量，同时也可以根据时间、地点来确定所有产品的总产量等。 Apache Kylin就将所有（时间、地
阅读全文
摘要：不多说，直接上干货！ 1、表(table)：This is definition of hive tables as source of cubes，在build cube 之前，必须同步在 kylin中。2、模型(model)：模型描述了一个星型模式的数据结构，它定义了一个事实表（Fact Tab
阅读全文
摘要：不多说，直接上干货！ Apache kylin 能提供低延迟（sub-second latency）的秘诀就是预计算，即针对一个星型拓扑结构的数据立方体，预计算多个维度组合的度量，然后将结果保存在hbase中，对外暴露JDBC、ODBC、Rest API的查询接口，即可实现实时查询。 如上图所示，K
阅读全文
摘要：不多说，直接上干货！ Apache Kylin的官网 - 可扩展超快OLAP引擎: Kylin是为减少在Hadoop上百亿规模数据查询延迟而设计 - Hadoop ANSI SQL 接口: Kylin为Hadoop提供标准SQL支持大部分查询功能 - 交互式查询能力: 通过Kylin，用户可以与Ha
阅读全文
摘要：不多说，直接上干货！ 我这里，是放在桌面上。 登陆数据库 然后， 默认是回车。 创建数据库 目的，就是为了统一。 导入数据 查看 成功! 如何使用mysqldump命令导入导出数据库下的数据或表结构（远程or本地都适合） 欢迎大家，加入我的微信公众号：大数据躺过的坑 人工智能躺过的坑 同时，大家可以
阅读全文
摘要：不多说，直接上干货！ 问题详情 解决办法 很简单快捷的解决办法，就是快捷键ALT+F7，可以拖动窗口的位置。 成功！
阅读全文
摘要：不多说，直接上干货！ Ubuntu版本都默认不允许使用root登录，必须要改配置文件。 第一步： 首先设置root密码，利用现有管理员帐户登陆Ubuntu，在终端执行命令：sudo passwd root，接着输入密码和root密码，重复密码。这样就有了可用的root用户。 第二步： 默认情况是不允
阅读全文
摘要：不多说，直接上干货！ 为什么要写这篇博客？ 首先，对于spark项目，强烈建议搭建，用Intellij IDEA（Ultimate版本），如果你还有另所爱好尝试Scala IDEA for Eclipse，有时间自己去玩玩。但最好追随大流。 对于hadoop项目，强烈建议用eclipse。 其次，出
阅读全文
摘要：不多说，直接上干货！ 方法1：在线安装 第一步，在eclipse菜单栏下，选中help >Install New Software 第二步，点击图中 add 添加软件下载地址 第三步 ，选中需要的内容，安装即可 方法 2：本地安装 本地安装即已经下载好相关插件的文件包。 第一步，在eclipse菜单
阅读全文
摘要：不多说，直接上干货！ 见 Eclipse/Myeclipse/Scala IDEA for Eclipse里两种添加插件的方法（在线和离线） 第一步 ：在菜单栏中，找到help install new software 第二步，需要注意了，注意看图。红色区域标注的already installed?
阅读全文
摘要：不多说，直接上干货！ 作为一款强健的，可伸缩的高性能数据库，Neo4j最适合完整的企业部署或者用于一个轻量级项目中完整服务器的一个子集存在。 它包括如下几个显著特点： 完整的ACID支持 高可用性 轻易扩展到上亿级别的节点和关系 通过遍历工具高速检索数据 1. 什么是图数据库? 图数据库用图来存储数
阅读全文
摘要：不多说，直接上干货！ 最近，好多人在问我这个问题。 机器学习中的各种算法， 都是一个个的数学算式。 不会高等数学、 概率统计、 凸优化等知识， 就不能搞透各个数学算式。 如果想明白这些算式的来龙去脉， 以及如何推导出来的， 没有前面的数学知识做铺垫是绝对不可能的。 但是， 包括很多公司里需要招聘员工
阅读全文
摘要：不多说，直接上干货！ 数据分析， 就是对数据进行分析， 得出一些结论性的内容， 用于决策。 分析什么哪？ 根据分析现状、 分析原因、 预测未来。 分析现状和分析原因， 需要结合业务才能解释清楚。 用到的技术比较简单， 最简单的数据分析工具就是 Excel。 预测未来指的是分析未来一段时间的销售额之类
阅读全文
摘要：不多说，直接上干货！ RFormula算法介绍： RFormula通过R模型公式来选择列。支持R操作中的部分操作，包括‘~’, ‘.’, ‘:’, ‘+’以及‘-‘，基本操作如下： 1、 ~分隔目标和对象 2、+合并对象，“+ 0”意味着删除空格 3、 :交互（数值相乘，类别二值化） 4、. 除了目
阅读全文
摘要：这篇博客 是在Scala IDEA for Eclipse里手动创建scala代码编写环境。 Scala IDE for Eclipse的下载、安装和WordCount的初步使用（本地模式和集群模式） 本博文，教大家，用maven来创建。 第一步：安装scala插件 因为，我win7下的scala环
阅读全文
摘要：不多说，直接上干货！ VectorSlicer 算法介绍： VectorSlicer是一个转换器，输入特征向量，输出原始特征向量子集。VectorSlicer接收带有特定索引的向量列，通过对这些索引的值进行筛选得到新的向量集。 可接受如下两种索引： 1、整数索引，setIndices()。 2、字符
阅读全文
摘要：不多说，直接上干货！ 特征选择里，常见的有：VectorSlicer(向量选择) RFormula(R模型公式) ChiSqSelector(卡方特征选择)。 ChiSqSelector用于使用卡方检验来选择特征（降维）。即来特征选择。 我这里，采取手动创建。（但是，这仅仅是为了初学者。我不建议，最
阅读全文
摘要：不多说，直接上干货！ 特征选择里，常见的有：VectorSlicer(向量选择) RFormula(R模型公式) ChiSqSelector(卡方特征选择)。 RFormula用于将数据中的字段通过R语言的Model Formulae转换成特征值，输出结果为一个特征向量和Double类型的label
阅读全文
摘要：不多说，直接上干货！ 特征选择里，常见的有：VectorSlicer(向量选择) RFormula(R模型公式) ChiSqSelector(卡方特征选择)。 VectorSlicer用于从原来的特征向量中切割一部分，形成新的特征向量，比如，原来的特征向量长度为10，我们希望切割其中的5~10作为新
阅读全文
摘要：不多说，直接上干货！ 主成分分析(Principal Component Analysis，PCA)， 将多个变量通过线性变换以选出较少个数重要变量的一种多元统计分析方法。 参考 http://blog.csdn.net/legotime/article/details/51836026
阅读全文
摘要：不多说，直接上干货！
阅读全文
摘要：不多说，直接上干货！
阅读全文
摘要：不多说，直接上干货！ 。
阅读全文
摘要：不多说，直接上干货！ 肯定也有不少博友，跟我一样，刚开始接触的时候，会对这三个概念混淆。 以下是，特征处理、特征提取、特征转换和特征选择的区别！ 特征处理主要包含三个方面：特征提取、特征转换和特征选择。 见我下面的博客 机器学习概念之特征提取（Feature extraction） 机器学习概念之特
阅读全文
摘要：不多说，直接上干货！ 见官网 总的来说，Suricata采集下来的数据输出分为：EVE 、 Lua Output 、 Syslog Alerting Compatibility 、 Custom http logging 、 Custom tls logging 和 Log Rotation Doc
阅读全文
摘要：不多说，直接上干货！ 见官网 Docs » 11. Setting up IPS/inline for Linux Edit on GitHub Docs » 11. Setting up IPS/inline for Linux Edit on GitHub 11. Setting up IPS/
阅读全文
摘要：见官网 Docs » 9. Reputation Edit on GitHub Docs » 9. Reputation Edit on GitHub 9. Reputation 9.1. IP Reputation 9.1.1. IP Reputation Config 9.1.1.1. repu
阅读全文
摘要：见官网 Docs » 8. Configuration Edit on GitHub Docs » 8. Configuration Edit on GitHub 8. Configuration 8.1. Suricata.yaml 8.1.1. Max-pending-packets 8.1.2
阅读全文
摘要：不多说，直接上干货！ 见官网 Docs » 7. Performance Edit on GitHub Docs » 7. Performance Edit on GitHub 7. Performance 7.1. Runmodes 7.1.1. Different runmodes 7.2. P
阅读全文
摘要：不多说，直接上干货！ 见官网
阅读全文
摘要：不多说，直接上干货！ 我这里呢，分两种常用的Suricata。 一、源码编译安装的Suricata 这里不多说，大家可以去看我下面写的博客 使用 Suricata 进行入侵监控（一个简单小例子访问百度） 二、SELKS里的Suricata 这里，建议大家如我这样，先保留一份默认的权限。免得以后自己修
阅读全文
摘要：不多说，直接上干货！ 见suricata官网 一、Suricata的规则所放位置 下面，是我使用的SELKS里安装的Suricata默认自带规则。 见博客 Stamus Networks的产品SELKS（Suricata IDPS、Elasticsearch 、Logstash 、Kibana 和
阅读全文
摘要：Suricata的总体架构 报文检测系统通常四大部分，报文获取、报文解码、报文检测、日志记录；suricata不同的功能安装模块划分，一个模块的输出是另一个模块的输入，suricata通过线程将模块串联起来。
阅读全文
摘要：不多说，直接上干货！ 见Suricata的官网 snort、suircata、bro，这三个都是非常优秀的IDS（入侵检测系统）。由于对bro没有深入了解，我们对比了snort和suricata，结合suricata的多线程和模块化，全面兼容snort规则，我们选用了suricata进行关键字检测。
阅读全文
摘要：不多说，直接上干货！ 为什么，要写这篇论文？ 是因为，目前科研的我，正值研三，致力于网络安全、大数据、机器学习研究领域！ 论文方向的需要，同时不局限于真实物理环境机器实验室的攻防环境、也不局限于真实物理机器环境实验室的大数据集群平台。在此，为了需要的博友们，能在自己虚拟机里（我这里是CentOS6.
阅读全文
摘要：不多说，直接上干货！ SELKS是什么？ SELKS 是Stamus Networks的产品，它是基于Debian的自启动运行发行，面向网络安全管理。它基于自己的图形规则管理器提供一套完整的、易于使用的 Suricata入侵检测/入侵防范生态系统。该系统还包含Kibana ID/NSM控制面板以图形
阅读全文
摘要：前期博客 基于CentOS6.5下Suricata（一款高性能的网络IDS、IPS和网络安全监控引擎）的搭建（图文详解）（博主推荐） 基于Ubuntu14.04下Suricata（一款高性能的网络IDS、IPS和网络安全监控引擎）的搭建（图文详解）（博主推荐） 参考官网 注意，这官网，默认是适合Ub
阅读全文
摘要：不多说，直接上干货！ 我这里，读取的是，来自于https://www.ll.mit.edu/ideval/data/1999data.html数据集。 DARPA 1999 data的第二周的星期一的内网数据集。 或者大家，这里，自己抓取，也是很简单。 得到
阅读全文
摘要：见 超级详细Tcpdump 的用法 http://www.itshouce.com.cn/linux/linux-tcpdump.html
阅读全文
摘要：不多说，直接上干货！ snort的规则啊，是基于文本的，它通常存在于snort程序目录中或者子目录中，规则文件按照不同的组，进行分类存放的。 snort的安装目录 /etc/snort/rules 比如，文件ftp.rules所包含了FTP攻击内容。 在启动的时候，snort会读取所有的规则文件，并
阅读全文
摘要：不多说，直接上干货！ 如果网络速度很快，或者想使日志更加紧凑以便以后的分析，那么应该使用二进制的日志文件格式。如tcpdump格式或者pcap格式。 这里，我们不需指定本地网络了，因为所以的东西都被记录到一个单一的文件。你也不必冗余模式或者使用-d、-e功能选项，因为数据包的所有内容都会被记录到日志
阅读全文
摘要：不多说，直接上干货！ 比如，在/root/log目录下。 需要注意： 1） /log目录需要你自己建立，并修改权限，以保证snort能够写入。即chmod 777 log是最好。 2）不要遗漏-l参数，用来指定写入日志位置。 3）存到给定的是目录，不是文件。 执行后系统将会在log目录下产生： [r
阅读全文
摘要：不多说，直接上干货！ 关于tcpdump二进制格式，这个基本概念不说。 支持tcpdump二进制格式的嗅探器工具，这里我说两个：tcpdump或者ethereal。 我这里，读取的是DARPA 1999数据集的第二周的内网inside.tcpdump二进制数据。 这里的 -r命令，我就不说啦。 就是
阅读全文
摘要：不多说，直接上干货！ suricata的基本组成。Suricata是由所谓的线程（threads）、线程模块 （thread-modules）和队列（queues）组成。Suricata是一个多线程的程序，因此在同一时刻会有多个线程在工作。线程模块是依据 功能来划分的，比如一个模块用于解析数据包，另
阅读全文
摘要：前期博客 基于CentOS6.5下Suricata（一款高性能的网络IDS、IPS和网络安全监控引擎）的搭建（图文详解）（博主推荐） 1、自己编写一条规则，规则书写参考snort规则（suricata完全兼容snort规则） 例如以百度网站为例： [root@suricata rules]# cat
阅读全文
摘要：不多说，直接上干货！ 前期博客 基于CentOS6.5下Suricata（一款高性能的网络IDS、IPS和网络安全监控引擎）的搭建（图文详解）（博主推荐） 或者 基于Ubuntu14.04下Suricata（一款高性能的网络IDS、IPS和网络安全监控引擎）的搭建（图文详解）（博主推荐） # Cro
阅读全文
摘要：不多说，直接上干货！ 首先，大家要明确： 问：安全洋葱能阻止入侵吗？ 答：这一点，和OSSIM一样，不能阻止入侵。 Security Onion基于Ubuntu，包含了入侵检测、网络安全监控、日志管理所需的Snort、Suricata、Bro、OSSEC、Sguil、Squert、ELSA、Xpli
阅读全文
摘要：为什么，要写这篇论文？ 是因为，目前科研的我，正值研三，致力于网络安全、大数据、机器学习研究领域！ 论文方向的需要，同时不局限于真实物理环境机器实验室的攻防环境、也不局限于真实物理机器环境实验室的大数据集群平台。在此，为了需要的博友们，能在自己虚拟机里（我这里是CentOS6.5）来搭建部署snor
阅读全文
摘要：不多说，直接上干货！ 为什么，要写这篇论文？ 是因为，目前科研的我，正值研三，致力于网络安全、大数据、机器学习研究领域！ 论文方向的需要，同时不局限于真实物理环境机器实验室的攻防环境、也不局限于真实物理机器环境实验室的大数据集群平台。在此，为了需要的博友们，能在自己虚拟机里（我这里是CentOS6.
阅读全文
摘要：前期博客 基于CentOS6.5下snort+barnyard2+base的入侵检测系统的搭建（图文详解）（博主推荐） tcpreplay是什么？ 简单的说, tcpreplay是一种pcap包的重放工具, 它可以将用ethreal, wireshark工具抓下来的包原样或经过任意修改后重放回去.
阅读全文
摘要：为什么，要写这篇论文？ 是因为，目前科研的我，正值研三，致力于网络安全、大数据、机器学习、人工智能、区域链研究领域！ 论文方向的需要，同时不局限于真实物理环境机器实验室的攻防环境、也不局限于真实物理机器环境实验室的大数据集群平台。在此，为了需要的博友们，能在自己虚拟机里（我这里是CentOS6.5）
阅读全文
摘要：为什么，要写这篇论文？ 是因为，目前科研的我，正值研三，致力于网络安全、大数据、机器学习研究领域！ 论文方向的需要，同时不局限于真实物理环境机器实验室的攻防环境、也不局限于真实物理机器环境实验室的大数据集群平台。在此，为了需要的博友们，能在自己虚拟机里（我这里是CentOS6.5）来搭建部署snor
阅读全文
摘要：可以在大家安装的Cygwin的安装目录下执行（我的这里是D:\SoftWare\cygwin） #winpcap的安装过程:|$ unzip WpdPack_4_1_2.zip|$ cp -r WpdPack/ / (安装tcpreplay的依赖winpcap, 即把WpdPack拷贝到根目录下.)
阅读全文
摘要：我的操作系统信息是 1、在官网https://cygwin.com/install.html下载win64位安装包 选择包的下载存放目录，点击“下一步” 为了使我们安装的Cygwin能够编译程序，我们需要安装gcc编译 器，默认情况下，gcc并不会被安装，我们需要选中它来安装。为了安装gcc，我们用
阅读全文
摘要：具体步骤，见如下： 解压到Cygwin的主目录中，一般是 你的Cygwin目录/home/当前用户名/ 。 我这是如下 先./configure 然后，make 也许，我看到网上有些资料说，重新点击安装。 里面找到make，然后，Bin 和 Src 如果可以勾选都 勾选上，点击下一步就可以安装了 但
阅读全文
摘要：由于我在安装cygwin时忘了包含make包，所以安装后发现我在bash中无法使用make命令。但是一般在cygwin下面的软件都是要用make来实现编译和安装的。没有make，又如何编译生成make.exe呢？我琢磨了一些，依靠查看man文件找到了方法。 本文以 make 3.81 版本为例。前提
阅读全文
摘要：前提博客 Windows 7操作系统下Apache的安装与配置（图文详解） 从官网下载 PHP的官网 http://www.php.net/ 特意，新建这么一个目录 配置PHP7 php7目录下有个install.txt,写的就是安装教程，自己看下就行，懒得看的也没事，按下边的教程走下去，安装成功是
阅读全文
摘要：我这里是 Apache2.4.X-win64 首先， 我的操作系统信息如下 Apache2.4-win64的下载 官网 因为，软件的下载地址在截图中放出，需要指出的是如果没有安装VC15的需要安装，否则会出错，其实网页上也已经做了提示。 所以，点击下载，因为我的操作系统是win7的64位。 我这里，
阅读全文
摘要：不多说，直接上干货！ MarkdownPad 是什么？ 一、MarkdownPad 2的下载 或者 下载地址：http://markdownpad.com/ 打开网页后，点击“Download MarkdownPad”按钮开始下载： 如果看到以下页面还是没有开始下载，请点击“restart the
阅读全文
摘要：关于安装请见 CDH版本大数据集群下搭建Hue（hadoop-2.6.0-cdh5.5.4.gz + hue-3.9.0-cdh5.5.4.tar.gz）（博主推荐） Hue的启动 也就是说，你Hue配置文件里面配置了什么，进程都要先提前启动。 关闭，则jps后，查看进程，kill掉。 欢迎大家，加
阅读全文
摘要：前期博客 基于JDBC的跨平台数据库管理工具DbVisualizer安装步骤（图文详解）（博主推荐） 上图，所示，说明这个还只是免费版而已，没又破解为Pro版本。 接下来，就是带领大家如何正确且成功破解： 1、把lib/dbvis.jar里面的这个文件dbvis.puk替换掉(用WinRAR打开db
阅读全文
摘要：首先，关于跨平台数据库管理工具DbVisualizer是什么？这个不多说，大家自行去看。 这个工具可以自定义连接其他没有驱动的数据库。 公司的项目牵扯到的数据库有mysql，sqlserver，oracle，mongda，postgresql，hive等。每一个都开启一个客户端，非常麻烦！ 同事介绍
阅读全文
摘要：不多说，直接上干货！ 对于我这里想说的是，分别从CentOS6.X 和 CentOS7.X来谈及。 1. 问题：默认启动屏幕保护 问题描述： CentOS系统在用户闲置一段时间(默认为5分钟)后，会启动屏幕保护程序(默认的屏保为黑屏)，并要求重新输入密码才能回到原来桌面。 有时候，我们在图形化界面里
阅读全文
摘要：不多说，直接上干货！ 答：这些你想删除的话得得去数据库里删除，最好别删除 。 现在默认就是使用好的配置 欢迎大家，加入我的微信公众号：大数据躺过的坑 人工智能躺过的坑 同时，大家可以关注我的个人博客： http://www.cnblogs.com/zlslch/ 和 http://www.cnblo
阅读全文
摘要：问题详情 来源是，我在Ambari集群里，安装Hue。 给Ambari集群里安装可视化分析利器工具Hue步骤（图文详解 所遇到的这个问题。 然后，去ambari-server的log日志，查看，如下 cat /var/log/ambari-server.log 解决办法 缺少ambari服务依赖。（
阅读全文
摘要：问题详情 来源是，我在Ambari集群里，安装Hue。 给Ambari集群里安装可视化分析利器工具Hue步骤（图文详解 所遇到的这个问题。 然后，去ambari-server的log日志，查看，如下 cat /var/log/ambari-server.log 解决办法 缺少ambari服务依赖。（
阅读全文
摘要：不多说，直接上干货！ 这个很简单，在集群机器里，选择就是了，本来自带就有Impala的。 扩展博客 给Ambari集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤（图文详解） 欢迎大家，加入我的微信公众号：大数据躺过的坑 人工智能躺过的坑 同时，大家可以关注我的个人博客： http
阅读全文
摘要：不多说，直接上干货！ Impala和Hive的关系（详解） 扩展博客 给Clouderamanager集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤（图文详解） 参考 hortonworks ambari集成impala ambari hdp 集成 impala 欢迎大家，加入我
阅读全文
摘要：不多说，直接上干货！ 扩展博客 以下，是我在手动的CDH版本，安装Hue。 CDH版本大数据集群下搭建Hue（hadoop-2.6.0-cdh5.5.4.gz + hue-3.9.0-cdh5.5.4.tar.gz）（博主推荐） 以下，是我在Ambari集群平台下，安装Hue。 给Ambari集群里
阅读全文
摘要：扩展博客 以下，是我在手动的CDH版本平台下，安装Hue。 CDH版本大数据集群下搭建Hue（hadoop-2.6.0-cdh5.5.4.gz + hue-3.9.0-cdh5.5.4.tar.gz）（博主推荐） 以下，是我在Clouderamanager平台下，安装Hue。 给Clouderama
阅读全文
