随笔分类 - 07.linux
linux系统运维、调优等
摘要：1.从平均负载谈起 我们每次发现线上系统变慢时，第一件事往往都会使用top或者uptime命令查看cpu的负载以及占用率，比如top命令会有下面的结果： top - 15:51:39 up 84 days, 1:24, 4 users, load average: 0.20, 0.22, 0.18
阅读全文
摘要：正常机器如果开启ssh可能会被暴力破解用户密码，可以配置ssh的pam限制登录失败时可以锁定用户一段时间，就算密码输入正确也无法登录，等恢复之后才可以再次进入，对于不同的发行版配置可能略有不同，对于redhat/centos/fedora系统是依赖pam_faillock.so模块来实现，位置在/u
阅读全文
摘要：redhat/centos 7.x默认使用的时间同步服务为ntp服务，但是从redhat/centos 8开始在官方的仓库中移除了ntp软件，换成默认的chrony进行时间同步的服务，虽然也可以通过添加第三方的源安装ntp，但是毕竟还是使用官方推荐的更好一些，使用和ntp基本上一样，个人感觉比ntp
阅读全文
摘要：gflags是google开发的一套命令行参数解析工具，被很多软件系统所依赖，应该算是一个基础的库，安装其实很简单，但是如果在网上找的一些教程大部分都是安装后不能被其他软件调用的，因为默认使用cmake编译出的gflags只开启的静态库，当调用动态库时会报各种错误，正确开启方法应该是编译时开启动态链
阅读全文
摘要：Linux上管理和运行进程除了程序级别的守护进程之外，经常用到的有比如nohup &的方式，以及screen会话的方式，而Tmux正是一个非常优秀的终端进程管理的软件，和GNU screen类似，Tmux采用BSD协议，并且支持多控制台以及灵活的切换操作，支持屏幕切分，后台输入命令等，相当于是scr
阅读全文
摘要：ninja是一个小型构建系统，专注于速度，和常用的make类似，有一些软件就是基于ninja编译构建的，比如clickhouse数据库就需要依赖ninja，因为最近在研究clickhouse，需要依赖于gcc 7，gtest，ninja等一些组件，所以单独拿出来这些组件记录安装过程，这样会更清晰一些
阅读全文
摘要：gtest全称Google Test，是Google的C++测试框架，有很多优秀的软件都会依赖这个环境编译或者在开发中也会用到，gtest的编译非常简单，下面简单说明一下安装过程. gtest github源码仓库：https://github.com/google/googletest 可以从仓库
阅读全文
摘要：之前写过python dlib依赖的安装，安装过程还算比较复杂，还需要安装boost.Python依赖等，但是如果纯粹的编译C++的dlib库，则要简单得多，基本上不需要其他外部的依赖，这里简单叙述一下过程，下载地址以及包和之前一样. 1). 释放源码包并建立编译目录 这里进入dlib目录或者直接进
阅读全文
摘要：之前写过在linux下升级gcc 4.8至gcc 4.9的过程，现在gcc最新的版本是8，有些软件必须是gcc 7或者以上的版本才可以编译，比如clickhouse，gcc 7的安装过程和之前基本上一样，但是安装要独立安装，不要覆盖系统的gcc，因为大部分软件还是使用系统的gcc编译，这里gcc 7
阅读全文
摘要：端口映射和转发在实际应用中非常常见，比如一个局域网只有一台服务器可以被互联网访问到，那么如果想通过互联网访问局域网中其他的服务，最常用的方式就是在这一台机器上开放端口，然后转发至局域网中其他主机的端口，实现内网服务的访问，而在互联网中就好像直接使用这个服务一样没什么变化，端口转发的大致流程如下图所示
阅读全文
摘要：NMAP是一款流行的网络扫描和嗅探工具，被广泛应用在黑客领域做漏洞探测以及安全扫描，更多的nmap是一个好用的网络工具，在生产和开发中也经常用到，主要做端口开放性检测和局域网信息的查看收集等，不同Linux发行版包管理中一般也带有nmap工具，这里选择去官网下载源码包进行编译安装，nmap的官网是：
阅读全文
摘要：NFS是最早由Sun公司推出的网络文件系统，允许一个节点通过网络访问远程计算机的文件系统，远程文件系统可以被直接挂载到本地，文件操作和本地没有区别，如果是局域网的nfs那么io的性能通常也是可以接受的，下面就以CentOS 7.x为例配置下NFS服务。 首先是服务端配置，服务端提供文件系统供客户端来
阅读全文
摘要：Linux下ftp服务可以通过搭建vsftpd服务来实现，以CentOS为例，首先查看系统中是否安装了vsftpd，可以通过执行命令 rpm -qa | grep vsftpd 来查看是否安装相应的包，如果没有安装那么可以执行 yum -y install vsftpd 来安装，安装之后首先创建ft
阅读全文
摘要：如果CentOS服务器处在内网环境中时，如果缺少依赖手动安装那么会非常麻烦，要花费很多时间来寻找rpm包，现在如果搭建本地的yum源，就非常方便了，如果搭建http的，那么局域网内其他服务器就都可以使用了，使用yum源首先需要一个CentOS安装镜像，这里是：CentOS-7-x86_64-DVD-
阅读全文
摘要：zabbix是基于web界面的开源分布式监控平台，可以监控各种服务器的配置参数，支持自定义配置和自定义告警，并且可以实现邮件、短信等方式的告警，zabbix基本组件如下： zabbix_server:zabbix服务端守护进程，所有的监控数据都会统一汇总给server zabbix_agentd:客
阅读全文
摘要：在Linux系统中，top命令可以查看系统资源包括内存，CPU占用信息，查看和探测网络状态可以使用netstat，nmap等工具，实时流量监控可以使用iftop，下面是在CentOS7系列系统上安装iftop的过程 首先安装必须的依赖包，执行如下命令： 另外libpcap-devel在默认yum源中
阅读全文
摘要：默认情况下，CentOS 7.2预装的gcc版本是4.8.x，通过执行命令 gcc -v 可以看到，一般情况下这个版本的编译器已经满足需要了，但是某些特殊的时候为了支持C++更高的特性，需要对gcc编译器的版本进行升级，比如安装最新的Mariadb 10的时候，就需要使用高版本的gcc，具体升级过程
阅读全文
摘要：cmake是一个跨平台的编译工具，特点是语句简单，编译高效，相对于原有的automake更为高效，接下来说明在Linux下安装cmake工具的过程 首先去cmake官网下载cmake安装包，下载界面网址为：https://cmake.org/download/ 这里下载最新版本的cmake-3.6.
阅读全文
摘要：在Linux下执行 jps 是快速查看Java程序进程的命令，一般情况下hadoop，hbase，storm等进程都是通过jps查看，有些时候因为进程没有被正常结束，比如资源占用过大时挂掉或者没有结束进程就直接重启计算机，会导致原有进程变为-- process information unavail
阅读全文
摘要：Linux服务器运行一段时间后，由于其内存管理机制，会将暂时不用的内存转为buff/cache，这样在程序使用到这一部分数据时，能够很快的取出，从而提高系统的运行效率，所以这也正是linux内存管理中非常出色的一点，所以乍一看内存剩余的非常少，但是在程序真正需要内存空间时，linux会将缓存让出给程
阅读全文