摘要:
题目 找出数组中重复的数字。 在一个长度为 n 的数组 nums 里的所有数字都在 0~n-1 的范围内。数组中某些数字是重复的,但不知道有几个数字重复了,也不知道每个数字重复了几次。请找出数组中任意一个重复的数字。 示例 1: 输入:[2, 3, 1, 0, 2, 5, 3]输出:2 或 3 限制 阅读全文
摘要:
HBase 数据迁移/备份方法 1、Hadoop层 DistCp(迁移) Hadoop层的数据迁移主要用到DistCp(Distributed Copy), 官方描述是:DistCp(分布式拷贝)是用于大规模集群内部和集群之间拷贝的工具。它使用Map/Reduce实现文件分发,错误处理和恢复,以及报 阅读全文
摘要:
RAID 详解 RAID 定义 定义 独立硬盘冗余阵列(RAID, Redundant Array of Independent Disks),旧称廉价磁盘冗余阵列(Redundant Array of Inexpensive Disks),简称磁盘阵列。利用虚拟化存储技术把多个硬盘组合起来,成为一 阅读全文
摘要:
Linux 服务器进程/线程数 1、最大进程数 内核级别:(设置则修改该文件值,系统总限额) cat /proc/sys/kernel/pid_max 会话级别:(设置则后面加上设置值,限制进程打开文件上限、线程数) ulimit -u 2、最大进程数 内核级别: /proc/sys/kernel/ 阅读全文
摘要:
ES 使用笔记 1、操作 update: 由于Lucene中的update其实就是覆盖替换,并不支持针对特定Field进行修改,Elasticsearch中的update为了实现针对特定字段修改,在Lucene的基础上做了一些改动。index: 检查_version。如果插入时没有指定_versio 阅读全文
摘要:
ES 架构原理 一、简介 Elasticsearch是一个分布式的搜索和分析引擎,可以用于全文检索、结构化检索和分析,并能将这三者结合起来。Elasticsearch基于Lucene开发,现在是使用最广的开源搜索引擎之一。Elasticsearch可以应用于在/离线日志流水、用户标签画像、数据库二级 阅读全文
摘要:
TiDB-Dashboard 使用 1、配置使用 使用tidb4.0版本,配置启动后通过浏览器访问 http://127.0.0.1:2379/dashboard/(将 127.0.0.1:2379 替换为实际 PD 实例的地址和端口)即可打开 TiDB Dashboard。 概况(Overview 阅读全文
摘要:
Flume、Logstash、Filebeat对比 日志采集工具对比 1、Flume简介 Flume的设计宗旨是向Hadoop集群批量导入基于事件的海量数据。系统中最核心的角色是agent,Flume采集系统就是由一个个agent所连接起来形成。每一个agent相当于一个数据传递员,内部有三个组件: 阅读全文
摘要:
MySQL索引 原理 b+ 树,记住这棵树!索引所有优化都围绕这棵树展开(hash索引除外) 优缺点 优点 索引大大减小了服务器需要扫描的数据量 索引可以帮助服务器避免排序和临时表 索引可以将随机IO变成顺序IO 索引对于InnoDB(对索引支持行级锁)非常重要,因为它可以让查询锁更少的元组。在My 阅读全文
摘要:
Servlet, Tomcat, Jetty, Netty,Mina 结论 先说结论吧: Servlet是一种Java EE规范,Tomcat & Jetty是Servlet容器,Tomcat包含了Servlet。Servlet本身并不能处理外部请求,需要Servlet容器的配合,Netty和MIN 阅读全文
摘要:
转自:https://www.cnblogs.com/hjqjk/p/5773099.html 运维工作,经常要测试服务器硬件性能,以此来判断是否存在性能瓶颈。 下面介绍在linux上测试磁盘IO速度的工具: 1、hdparm CentOS中,安装的两种方法: 1) yum安装。 # yum ins 阅读全文
摘要:
技巧 - 了解每个模块的处理顺序,方便定位问题(如下图,从左到右处理) - 查看flume的metrics,确定每个flume节点数据是否被接收以及发送: {"SOURCE.src-1":{"OpenConnectionCount":"0", //目前与客户端或sink保持连接的总数量(目前只有av 阅读全文
摘要:
0、背景 版本信息:MySQL:5.5.47OS:debian7 更新MySQL配置需要重启,restart 显示failed,于是kill -9,然后启动报错:[ERROR] Plugin 'InnoDB' init function returned error.[ERROR] Plugin ' 阅读全文
摘要:
hdfs web界面 1、总览页 Non DFS Used = Configured Capacity - Remaining Space - DFS UsedNon DFS Used = 配置的容量 - 剩余容量 - DFS使用容量 Configured Capacity = Total Disk 阅读全文
摘要:
1、编码解码 1.1、概念 比特 / bit:计算机中最小的数据单位,是单个的二进制数值 0 或 1 字节 / byte:计算机存储数据的单元,1 个字节由 8 个比特组成 字符:人类能够识别的符号 编码:将人类可识别的字符转换为机器可识别的字节码 / 字节序列 解码:编码的反向过程叫解码 概述:U 阅读全文