2018年10月22日
logstash file输入，无输出原因与解决办法
摘要： 一、现象 很多同学在用logstash input 为file的时候，经常会出现如下问题：配置文件无误，logstash有时一直停留在等待输入的界面 二、原因解释 logstash作为日志分析的管道，在实际场景中，日志量往往很大，因此不可能每次都是完整扫描一遍日志文件，然后导入。通常采用的办法就是增 阅读全文
posted @ 2018-10-22 16:40 杨文波 阅读(567) 评论(0) 推荐(0) 编辑
在kubernetes集群上用helm安装Datadog(Monitoring)
摘要： Datadog is a monitoring service that gathers monitoring data from your containers within your Azure Container Service cluster. Datadog has a Docker In 阅读全文
posted @ 2018-10-22 16:28 杨文波 阅读(1000) 评论(0) 推荐(0) 编辑
2017年1月16日
ubuntu 14.04中Elasticsearch 2.3 中 Nginx 权限认证
摘要： 前言：本文实现了nginx简单保护elasticsearch，类似的保护也可以采用elasticsearch 官方插件shield 一、准备密码 1.确认htpasswd是否已经安装 如果返回路径，说明已经安装 如果没安装，可以采用下列方式安装 Ubuntu Centos 2.生成passfile文 阅读全文
posted @ 2017-01-16 19:32 杨文波 阅读(762) 评论(0) 推荐(0) 编辑
2017年1月13日
Elasticsearch 2.3 （ELK）Geo_point绘图、日志Date时间获取实例
摘要： 前言：本文源于天天是雾霾新闻，我想利用kibana画一下一线城市雾霾图，希望对想利用经纬度在kibana绘图和获取日志本身时间绘图的同学有所帮助。有什么疑问或者纠错，可以给我发邮件 一、数据准备 为了方便起见，我模拟臆造了json格式的数据 模拟数据我用的是c ，大概如下： 此处我是作为消息发到一个 阅读全文
posted @ 2017-01-13 18:13 杨文波 阅读(1826) 评论(1) 推荐(1) 编辑
2017年1月12日
Elasticsearch 5.0 磁盘空间节省策略的认识
摘要： 前言：本文是当时QQ群员讨论磁盘空间如何优化，我搜了下类似的文章，结合官方文档做了一些总结 "参考文章1" "参考文章2" 如果你有疑问，可以联系我参与讨论，或者去原文查看。 NOTE: 磁盘空间节省问题，是得失问题。要省出磁盘空间，必会影响某些功能，如果被影响的功能你不需要，你可以采用相应的磁盘节 阅读全文
posted @ 2017-01-12 12:48 杨文波 阅读(916) 评论(0) 推荐(0) 编辑
2017年1月11日
Elasticsearch 5.0 _source field的简单认识
摘要： 前言：本文的目的是为后续 磁盘空间 利用优化做铺垫，主要知识点来源于官网 一、_source是什么 _source field是我们在PUT数据时候的 json body ： 二、_source disable的方法 三、disable掉_source会怎样 消极影响：（总的来说后果比较严重最好不要 阅读全文
posted @ 2017-01-11 19:38 杨文波 阅读(584) 评论(0) 推荐(0) 编辑
Elasticsearch 5.0 _all field的简单认识
摘要： 前言：本文的目的是为后续 磁盘空间 利用优化做铺垫，主要知识点来源于 "官网" 一、_all 是什么 在Elasticsearch中，_all field维护这一个很大的字符串数组(text类型)。这个字符串是其他字段先经过分词，然后组合在一起形成的。 组合方式 是以空格为分隔符、无序。 官网有个例 阅读全文
posted @ 2017-01-11 18:41 杨文波 阅读(859) 评论(0) 推荐(0) 编辑
Elasticsearch中doc_value的认识
摘要： 前言：本文的目的是为后续 磁盘空间 利用优化做铺垫。主要知识点来源于 "官网文档" 一、doc_value是什么 1. 绝大多数的fields在默认情况下是indexed，因此字段数据是可被搜索的。倒排索引中按照一定顺序存放着terms供搜索，当命中搜索时，返回包含term的document。 te 阅读全文
posted @ 2017-01-11 17:59 杨文波 阅读(9443) 评论(0) 推荐(0) 编辑
2017年1月10日
Hello,Power BI
摘要： Power BI 是什么 Power BI 是一套业务分析工具，用于分析数据和理解数据，快速便捷地监控数据变化，为商务决策提供依据。 Power BI 有用户组的概念、分享权限等概念 "Power BI 官网地址" 本文的目的是让大家对Power BI 有一个初步印象 Power BI 提供了什么 阅读全文
posted @ 2017-01-10 17:20 杨文波 阅读(350) 评论(0) 推荐(0) 编辑
2017年1月6日
Elasticsearch 5.0 中term 查询和match 查询的认识
摘要： Elasticsearch 5.0 关于 term query 和 match query 的认识 一、基本情况 前言：term query和match query牵扯的东西比较多，例如分词器、mapping、倒排索引等。我结合官方文档中的一个实例，谈谈自己对此处的理解 string类型在es5. 阅读全文
posted @ 2017-01-06 21:18 杨文波 阅读(1846) 评论(0) 推荐(0) 编辑
以bank account 数据为例，认识elasticsearch query 和 filter
摘要： Elasticsearch 查询语言（Query DSL）认识(一) 一、基本认识 查询子句的行为取决于 query context filter context 也就是执行的是 查询（query） 还是 过滤(filter) query context 描述的是： 被搜索的文档和查询子句的匹配程度 阅读全文
posted @ 2017-01-06 15:44 杨文波 阅读(1059) 评论(0) 推荐(0) 编辑
2017年1月5日
Ubuntu 14.04中Elasticsearch集群配置
摘要： Ubuntu 14.04中Elasticsearch集群配置 前言：本文可用于elasticsearch集群搭建参考。细分为 elasticsearch.yml 配置和 系统配置 达到的目的：各台机器配置成功，可以达到如下效果： elasticsearch节点组成集群，对外来看俨如一台机器 elas 阅读全文
posted @ 2017-01-05 16:30 杨文波 阅读(624) 评论(0) 推荐(0) 编辑
微软Azure 经典模式下创建内部负载均衡（ILB）
摘要： 微软Azure 经典模式下创建内部负载均衡（ILB） 使用之前一定要注意自己的Azure的模式，老版的为cloud service模式，新版为ARM模式（资源组模式） 本文适用于cloud service模式 一个cloud service只能有一个ILB 创建ILB的基本思路 1. 创建一个ILB 阅读全文
posted @ 2017-01-05 14:28 杨文波 阅读(907) 评论(0) 推荐(0) 编辑
2016年12月18日
Logstash file输入，无输出原因与解决办法
摘要： 1.现象 很多同学在用logstash input 为file的时候，经常会出现如下问题：配置文件无误，logstash有时一直停留在等待输入的界面 2.解释 logstash作为日志分析的管道，在实际场景中，日志量往往很大，因此不可能每次都是完整扫描一遍日志文件，然后导入。通常采用的办法就是增量读 阅读全文
posted @ 2016-12-18 18:11 杨文波 阅读(1221) 评论(0) 推荐(0) 编辑
2016年12月17日
认识 Azure
摘要： 本文为官网摘录总结 一个不断增长的集成云服务集合，助您加快发展步伐，提高工作效率，节省运营成本 基础设施 在中国，由世纪互联运营的 Microsoft Azure 是在中国大陆独立运营的公有云平台，与全球其他地区由微软运营的 Azure 服务在物理上和逻辑上独立，采用微软服务于全球的 Azure 技 阅读全文
posted @ 2016-12-17 19:42 杨文波 阅读(883) 评论(0) 推荐(0) 编辑
Matlab slice方法和包络法绘制三维立体图
摘要： 前言：在地球物理勘探，流体空间分布等多种场景中，定位空间点P（x,y,x）的物理属性值Q，并绘制三维空间分布图，对我们洞察空间场景有十分重要的意义。 1. 三维立体图的基本要件： 全空间网格化 网格节点的物理属性值 2.数据准备 数据不易贴，我放在了百度网盘： "点击下载数据" 大概如下形式： TI 阅读全文
posted @ 2016-12-17 19:17 杨文波 阅读(9979) 评论(5) 推荐(2) 编辑
Matlab数值计算示例： 牛顿插值法、LU分解法、拉格朗日插值法、牛顿插值法
摘要： 本文源于一次课题作业，部分自己写的，部分借用了网上的demo 牛顿迭代法（1） 牛顿迭代法（2） matlab %% 绘制图形。判断跟的大概位置。 x=1:0.01:2; f=x.^3 x.^2+sin(x) 1; plot(x,f,'linewidth',2);grid on;%由图像可知 根在1 阅读全文
posted @ 2016-12-17 19:10 杨文波 阅读(14294) 评论(0) 推荐(0) 编辑
Matlab 高脚杯模型切片
摘要： 前言：此文为去年我替人做的一个课题，觉得比较简洁，图形也比较美观，因此放在博文里 数据源我放到了百度云盘 "高脚杯数据源" 有兴趣的可以下载数据，跑程序试一下。也可以单独看看代码，看下实现过程。 主函数 被调用函数，用于绘制高脚杯骨架 大致结果如下： 阅读全文
posted @ 2016-12-17 18:36 杨文波 阅读(711) 评论(0) 推荐(0) 编辑
Matlab 高斯_拉普拉斯滤波器处理医学图像
摘要： 前言：本程序是我去年实现论文算法时所做。主要功能为标记切割肝脏区域。时间有点久，很多细节已经模糊加上代码做了很多注释，因此在博客中不再详述。 NOTE: 程序分几大段功能模块，仔细阅读，对解决医学图像还是有一定的借鉴意义 想借鉴本文的一定要仔细阅读代码和注释，中间有人机交互部分，空跑会抛异常 .dc 阅读全文
posted @ 2016-12-17 18:14 杨文波 阅读(2470) 评论(0) 推荐(0) 编辑
ubuntu 安装Elasticsearch5.0（Debian包）
摘要： 通过Debian包安装Elasticsearch Elasticsearch的Debian包可以从 "downloaded from our website" 或 "APT repository" 它可以用于在任何Debian based的系统（如Debian和Ubuntu）上安装Elasticse 阅读全文
posted @ 2016-12-17 14:19 杨文波 阅读(839) 评论(0) 推荐(0) 编辑
Ubuntu 14.04 中 安装elasticsearch2.*+logstash2.*+kibana
摘要： 在Ubuntu 14.04 上安装单机版ELK 2. （脚本化） 1.判断是否为root权限 2.记录脚本运行日志（可以在ubuntu日志中找到对应的运行信息） 3.设置脚本运行参数 4.安装java 8 5.安装Elasticsearch，配置Elasticsearch的主要参数 6.安装主要插件 阅读全文
posted @ 2016-12-17 14:15 杨文波 阅读(347) 评论(0) 推荐(0) 编辑
在Windows上安装Elasticsearch 5.0
摘要： 在windows上安装Elasticsearch Elasticsearch可以使用.zip软件包安装在Windows上。 elasticsearch service.bat命令，它将设置Elasticsearch作为服务运行。 Elasticsearch的最新稳定版在 "Download Elas 阅读全文
posted @ 2016-12-17 14:13 杨文波 阅读(2309) 评论(0) 推荐(1) 编辑
Logstash时区、时间转换，message重组
摘要： 适用场景 获取日志本身时间 日志时间转Unix时间 重组message 示例日志： logstash 配置文件： 输出结果： 阅读全文
posted @ 2016-12-17 14:13 杨文波 阅读(5935) 评论(1) 推荐(0) 编辑
Matlab 利用参数方程绘制空心球体
摘要： 基本原理： 实质为利用球面参数方程，利用网格化数据绘制 绘制函数： 简单调用： 结果展示： 1.rgb=[1,0,0.5]时： 2.rgb=[0,0,1]时： 阅读全文
posted @ 2016-12-17 14:06 杨文波 阅读(2880) 评论(5) 推荐(0) 编辑
Matlab 绘制三维立体图（以地质异常体为例）
摘要： 前言：在地球物理勘探，流体空间分布等多种场景中，定位空间点P（x,y,x）的物理属性值Q，并绘制三维空间分布图，对我们洞察空间场景有十分重要的意义。 1. 三维立体图的基本要件： 全空间网格化 网格节点的物理属性值 2.数据准备 数据不易贴，我放在了百度网盘： "点击下载数据" ,网盘失效了，有要的 阅读全文
posted @ 2016-12-17 14:00 杨文波 阅读(5582) 评论(1) 推荐(2) 编辑