摘要：
拉取过程中，注意： 1、请求参数中过滤掉白名单+设置大小分页读取 2、读取文件 获得inputstream 使用inputstream按行读 3、读取文件 4、解析json字符串 阅读全文
随笔档案-2018年07月
tpot从elastic search拉攻击数据之二 配置端口映射
2018-07-30 11:51 by ZealouSnesS, 912 阅读, 收藏, 编辑
摘要：
虽然知道了本地的数据接口位置，但是我们需要的是从远程拉取数据，所以我们需要更改es的ip端口为0.0.0.0:xxxx。 直接修改下图的elasticsearch.yml配置文件，结果发现无效。 这是因为es部署在docker中，直接修改配置文件没有用，需要进行docker端口映射。 使用docke 阅读全文
wireshark使用
2018-07-29 15:17 by ZealouSnesS, 161 阅读, 收藏, 编辑
摘要：
打开wireshark之后提示no interfaces found 解决办法： 以管理员权限打开我们的命令提示符 在里面输入命令： net start npf 回车之后，会显示 NetGroup Packet Filter Driver 服务已经启动成功 然后重新打开wireshark就可以了 w 阅读全文
VS c++ opencv画图
2018-07-28 00:32 by ZealouSnesS, 5063 阅读, 收藏, 编辑
摘要：
任务：用c++在图片上画线 之前用过python的opencv，所以直接想到了用c++的opencv来画线。 但关键就是VS中如何配置c++ opencv库的问题： vs中opencv库的配置：https://www.cnblogs.com/linshuhe/p/5764394.html 1、创建工 阅读全文
java maven项目打包
2018-07-28 00:22 by ZealouSnesS, 958 阅读, 收藏, 编辑
摘要：
使用IDEA打包，首先调出来maven projects窗口： 菜单栏Help->Find Action(Ctrl+Shift+A),输入Maven projects https://blog.csdn.net/huajuanaini/article/details/51793336 搞出来之后，双 阅读全文
从es中拉取全部数据/大量数据 使用scroll+scan避免深分页
2018-07-28 00:13 by ZealouSnesS, 7530 阅读, 收藏, 编辑
摘要：
es一次请求默认返回的数据条数是10条，可以通过设置size参数来控制返回数据的条数： 如果要返回很多数据，可以把size设置的很大，不过elastic search默认size最大不能超过1万。 那么如果数据量很大，超过1万，而又想要把所有数据都拉出来怎么办呢？ 有三种方法：聚合，修改es的siz 阅读全文
java配置文件properties，yml，一般文件
2018-07-26 20:44 by ZealouSnesS, 4619 阅读, 收藏, 编辑
摘要：
JAVA编写配置文件的几种方式： JAVA配置文件，一般都放在resource目录下，无论是下面提到的properties、yml还是普通的txt等文件。 在打成jar包之后，只需要jar包程序就可运行，如果要修改配置文件，只需将配置文件放在与jar包同一目录下即可，jar包会自动读取。 1、pro 阅读全文
解决：JQuery "Uncaught ReferenceError: $ is not defined"错误
2018-07-25 15:52 by ZealouSnesS, 4652 阅读, 收藏, 编辑
摘要：
重登了一下emo项目，发现新建朋友功能出了问题：MultiValueDictKeyError。查看了一下报错提示，发现ajax中发送的数据包中少了两个参数。 于是调试js前端，发现console报错： Uncaught ReferenceError: $ is not defined $符号无法识别 阅读全文
java 字符串解析为json 使用org.json包的JSONObject+JSONArray
2018-07-24 20:43 by ZealouSnesS, 1712 阅读, 收藏, 编辑
摘要：
参考： https://blog.csdn.net/xingfei_work/article/details/76572550 java中四种json解析方式 JSONObject+JSONArray GSON FastJSON jackson https://blog.csdn.net/woshi 阅读全文
java 日期的格式化 输入/输出
2018-07-24 20:23 by ZealouSnesS, 4689 阅读, 收藏, 编辑
摘要：
输出结果： 年: 2012月: 1日: 13时: 17分: 28秒: 19当前时间毫秒数：1326446899902Fri Jan 13 17:28:19 CST 2012Fri Jan 13 17:28:19 CST 2012格式化后的日期：2012-01-13 17:28:19字符串转成日期：F 阅读全文
elastic search 查询语句
2018-07-24 12:02 by ZealouSnesS, 2122 阅读, 收藏, 编辑
摘要：
部署了半个月，分析一下数据： 需要提前知道的是，tpot中，每天的数据存一个index，然后每个index里面有不同的type，每条请求一个document 共24万条请求： 查看整个集群所有数据 以7月23日为例，1.5万条请求： 查看某一index的所有数据 查看每天都能捕获到哪些type的请求 阅读全文
elasticsearch数据迁移——elasticsearch-dump使用
2018-07-23 18:22 by ZealouSnesS, 1712 阅读, 收藏, 编辑
摘要：
先安装好nodejs和nodejs的包管理工具npm。然后安装elasticsearch-dump： npm install elasticdump 下面迁移数据： 先在目的地址创建一个index来储存数据： 执行迁移命令：--input设置导出的源地址，--output设置导出的目的地址 这里我们 阅读全文
nodejs使用——以elasticsearch-exporter为例
2018-07-23 18:17 by ZealouSnesS, 1734 阅读, 收藏, 编辑
摘要：
安装nodejs： yum install nodejs 运行node命令查看是否安装成功： 可以看到成功进入命令行，安装成功。 node命令前面要加点，使用 .help 查看有哪些命令： 使用.exit退出。 安装nodejs包管理工具npm： yum install npm 使用npm在node 阅读全文
贪玩ML系列之一个BP玩一天
2018-07-22 22:35 by ZealouSnesS, 374 阅读, 收藏, 编辑
摘要：
手写串行BP算法，可调batch_size 既要：1、输入层f(x)=x 隐藏层sigmoid 输出层f(x)=x 2、run函数实现单条数据的一次前馈 3、train函数读入所有数据for循环处理每条数据。 循环中： 首先调用run函数，得到各层的值 self.input_nodes_value 阅读全文
python imageio 图片生成gif
2018-07-21 13:13 by ZealouSnesS, 3273 阅读, 收藏, 编辑
摘要：
#!/bin/python3 import matplotlib.pyplot as plt import imageio,os TIME_GAP=0.075 #两帧之间的时间间隔，秒为单位 FILE_PATH="./testwalk/" BEGIN_INDEX=1 END_INDEX=7 FORMAT=".jpg" # 返回gif def create_gif(image_list, ... 阅读全文
解决：IDEA unable to import maven project see logs for details问题+java http请求报java.net.SocketException: Permission denied:connect 问题
2018-07-21 09:52 by ZealouSnesS, 146309 阅读, 收藏, 编辑
摘要：
背景：用IDEA写了一个java发送http请求的maven项目。 运行时，项目报java.net.SocketException: Permission denied:connect问题； 修改pom文件自动更新依赖时，IDEA报unable to import maven project see 阅读全文
JAVA发送http GET/POST请求的两种方式+JAVA http 请求手动配置代理
2018-07-20 17:37 by ZealouSnesS, 3075 阅读, 收藏, 编辑
摘要：
java发送http get请求，有两种方式。 第一种用URLConnection： 第二种用java HTTP客户端：HttpGet、HttpClient、HttpResponse等 POST请求同理，这里只列出URLConnection方式： 代理 如果使用代理的话可以按如下编写一个设置代理的函 阅读全文
tpot从elastic search拉攻击数据之一 找本地数据端口
2018-07-19 12:05 by ZealouSnesS, 1057 阅读, 收藏, 编辑
摘要：
前面，我们已经在ubuntu服务器上部署好了tpot，并启动进行数据捕获 可以通过64297端口登陆到kibana可视化平台查看捕获到攻击的情况。 现在要拉取攻击数据了，但是该怎么拉呢？ 看了一上午的文档，发现文档中并没有提到如何从elastic search中拉取数据：https://dtag-d 阅读全文
贪玩ML系列之CIFAR-10调参
2018-07-18 23:11 by ZealouSnesS, 667 阅读, 收藏, 编辑
摘要：
调参方法：网格调参 tf.layers.conv2d()中的padding参数 取值“same”，表示当filter移出边界时，给空位补0继续计算。该方法能够更多的保留图像边缘信息。当图片较小（如CIFAR-10中的32*32）时，推荐使用该选项 取值“valid”，表示当filter移出边界时，舍 阅读全文
java连接elastic search 9300
2018-07-18 17:35 by ZealouSnesS, 3038 阅读, 收藏, 编辑
摘要：
java连接elastic search 导入jar包：https://www.elastic.co/guide/en/elasticsearch/client/java-api/5.5/_maven_repository.html 注意，使用的jar包版本尽量与所连的els版本一致 创建连接：ht 阅读全文
maven安装，maven命令行使用
2018-07-18 17:02 by ZealouSnesS, 1534 阅读, 收藏, 编辑
摘要：
1 下载maven，解压（无需安装），配置环境变量，命令行mvn -v测试。 2 maven常用命令：https://www.cnblogs.com/wkrbky/p/6352188.html 3 注意！挂vpn使用maven有时会遇到报错： [WARNING] Failed to retrieve 阅读全文
eclipse/IDEA使用maven
2018-07-17 11:04 by ZealouSnesS, 599 阅读, 收藏, 编辑
摘要：
下载，解压（无须安装），配置环境变量，命令行下mvn -v测试。https://www.cnblogs.com/luotaoyeah/p/3764533.html eclipse使用maven 为eclipse安装maven插件 使用： 1、创建maven项目+在pom.xml中导入需要依赖的jar 阅读全文
hadoop笔记 基础 归档
2018-07-16 22:58 by ZealouSnesS, 466 阅读, 收藏, 编辑
摘要：
核心：分布式存储和分布式计算 闲话： 底层基于socket通信 NIO——java异步io，不阻塞，不等待 bt——p2p软件（点对点传输，每个人既是上传者又是下载者。但是会占用大量网络带宽，所以很多运营商通过在交换机上封杀bt端口的方式来遏制bt软件占用流量） 关键：压缩算法 1、归档 很小的文件 阅读全文
tpot蜜罐平台搭建
2018-07-16 10:53 by ZealouSnesS, 5209 阅读, 收藏, 编辑
摘要：
iso安装：https://github.com/dtag-dev-sec/tpotce autoinstaller安装：https://github.com/dtag-dev-sec/tpotce 平台介绍：https://github.com/dtag-dev-sec/tpotce 什么是tpo 阅读全文
