12 2019 档案
探讨复杂的 if-else 语句“优雅处理”的思路 --------策略与工厂模式
摘要：前言 在之前文章说到，简单 if-else，可以使用 卫语句 进行优化。但是在实际开发中，往往不是简单 if-else 结构，我们通常会不经意间写下如下代码： 毫不夸张的说，我们都写过类似的代码，回想起被 if-else 支配的恐惧，我们常常无所下手，甚至不了了之。 下面分享一下我在开发中遇到复杂的
阅读全文
3万字细品数据倾斜
摘要：作者：迷路剑客 链接：https://blog.csdn.net/baichoufei90/article/details/86554840 整理：大数据肌肉猿(BigData-BigMuscle) 大纲： 一、前言 二、什么是数据倾斜？ 三、数据倾斜长什么样？ 四、数据倾斜的原理 五、解决数据倾斜
阅读全文
netcat使用
摘要：前言 最近在做渗透测试的时候遇到了端口监听和shell的反弹问题，在这个过程中自己对Netcat这一款神器有了新的认识，现将一些Netcat的用法做一个小总结，希望对各位有帮助！ Netcat简介 Netcat是一款非常出名的网络工具，简称“NC”,有渗透测试中的“瑞士军刀”之称。它可以用作端口监听
阅读全文
windows环境下flink入门demo实例
摘要：Apache Flink是什么？ Apache Flink 是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态计算。可部署在各种集群环境，对各种大小的数据规模进行快速计算。上面是非常官方的描述，说白了我们为什么选择Flink，是因为他在社区口碑非常不错。在国内的话有阿里这种大数据大流量
阅读全文
windows 下 Kibana 的安装
摘要：Kibana 的安装： 点击kibana官网下载 图为下载的版本6.3.1，kibana的版本和elasticsearch的版本和必须一致。 修改配置（可以省略）打开下图的路径文件kibana.yml（可以通过记事本方式） 设置elasticsearch.url为启动的elasticsearch（h
阅读全文
数据库分库分表解决方案汇总
摘要：一. 数据切分 关系型数据库本身比较容易成为系统瓶颈，单机存储容量、连接数、处理能力都有限。当单表的数据量达到1000W或100G以后，由于查询维度较多，即使添加从库、优化索引，做很多操作时性能仍下降严重。此时就要考虑对其进行切分了，切分的目的就在于减少数据库的负担，缩短查询时间。 数据库分布式核心
阅读全文
谈谈高并发系统的限流
摘要：开涛大神在博客中说过：在开发高并发系统时有三把利器用来保护系统：缓存、降级和限流。本文结合作者的一些经验介绍限流的相关概念、算法和常规的实现方式。 缓存 缓存比较好理解，在大型高并发系统中，如果没有缓存数据库将分分钟被爆，系统也会瞬间瘫痪。使用缓存不单单能够提升系统访问速度、提高并发访问量，也是保护
阅读全文
Java利用Swagger2自动生成对外接口的文档
摘要：一直以来做对外的接口文档都比较原始，基本上都是手写的文档传来传去，最近发现了一个新玩具，可以在接口上省去不少麻烦。swagger是一款方便展示的API文档框架。它可以将接口的类型最全面的展示给对方开发人员，避免了手写文档的片面和误差行为。swagger目前有两种swagger和swagger2两种，
阅读全文
windows 下 logstash 安装启动
摘要：logstash 安装，下载最新版本的logstash: 点击打开链接 解压到磁盘根目录下：在logstash>bin 1、目录下创建：logstash.conf 2、输入内容: input { input { stdin{ stdin{ } } } } output { output { stdo
阅读全文
Mysql:为什么用limit时，offset很大会影响性能
摘要：首先说明一下MySQL的版本： 表结构： id为自增主键，val为非唯一索引。 灌入大量数据，共500万： set session unquie_checks=false set session autocommit=false CREATE DEFINER=`root`@`localhost` P
阅读全文
Flink入门 构建一个应用
摘要：构建一个应用 当然了，我们可以用maven，一顿new，new出来一个过程，这里我们将使用 Flink Maven Archetype 来创建我们的项目结构和一些初始的默认依赖。在你的工作目录下，运行如下命令来创建项目： 这样一个工程就构建好了。 还有一个更加牛逼的办法，看这里： 直接在命令行执行上
阅读全文
Flink入门 本地环境搭建
摘要：本地安装单机版本Flink 一般来说，线上都是集群模式，那么单机模式方便我们测试和学习。 环境要求 本地机器上需要有 Java 8 和 maven 环境，推荐在linux或者mac上开发Flink应用： 如果有 Java 8 环境，运行下面的命令会输出如下版本信息： 如果有 maven 环境，运行下
阅读全文
mysql数据库 使用分析工具 进行慢查询分析
摘要：优化sql语句步骤: 1.发现问题 2.分析执行计划 3.优化索引 4.改写sql (再达不到优化效果的话 进行数据库分库分表) 1.发现问题途径 1.用户上报性能问题 2.慢查询日志发现问题SQL 3.数据库实时监控长时间运行的SQL 2.设置MYSQL set global slow_query
阅读全文
