随笔分类 - 运维
摘要：背景： 线上排查问题需要找出有某个特征的日志，并获取这些日志的完整调用日志链路。 比如, 通过某个tag 获取到了这些日志的 请求id 【Span ID】， cat xxxx.log | grep '某tag' | awk -F '某tag' '{print $2}' 然后还需要再一步取得所有Spa
阅读全文
摘要：系统版本： [root@localhost modules]# rpm -q centos-release centos-release-7-5.1804.el7.centos.x86_64 一、yum安装PHP 1.检查当前安装的PHP包 yum list installed | grep php
阅读全文
摘要：GitHub Actions 首先简单介绍下 GitHub Actions，其官方介绍页面为：https://github.com/features/actions，介绍语如下： Automate your workflow from idea to production. GitHub Actio
阅读全文
摘要：通过上文 Window7 开发 Spark 应用 ,展示了如何开发一个Spark应用，但文中使用的测试数据都是自己手动录入的。 所以本文讲解一下如何搭建一个开发闭环，本里使用了Nginx日志采集分析为例，分析页面访问最多的10个,404页面的10。 如果把这些开发成果最终展示到一个web网页中，在这
阅读全文
摘要：WordCount是大数据学习最好的入门demo，今天就一起开发java版本的WordCount，然后提交到Spark3.0.0环境运行； 版本信息 OS： Window7 JAVA：1.8.0_181 Hadoop：3.2.1 Spark: 3.0.0-preview2-bin-hadoop3.2
阅读全文
摘要：本文目的是根据前文的博文，打造一个Hadoop、Sprak的服务器闭环。也是经验归纳。 版本信息 CentOS: Linux localhost.localdomain 3.10.0-862.el7.x86_64 #1 SMP Fri Apr 20 16:44:24 UTC 2018 x86_64
阅读全文
摘要：CentOS: Linux localhost.localdomain 3.10.0-862.el7.x86_64 #1 SMP Fri Apr 20 16:44:24 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux JDK: Oracle jdk1.8.0_241
阅读全文
摘要：OS: Centos 7 3.10.0-862.el7.x86_64 MySQL: 5.6.29-log 背景: 开发环境被多人使用，有时候为出现故障导致大多数人无法使用数据库，严重影响开发节奏。故做一个数据备份和结构备份机制。用于快速恢复开发环境MySQL。 一、主从设置 1.安装MySQL 下载
阅读全文
摘要：以上脚本加入crontab PS: https://www.cnblogs.com/shiyiwen/p/8311014.html https://www.cnblogs.com/yxwkf/p/5196016.html
阅读全文
摘要：有时候我们需要Linux系统在开机的时候自动加载某些脚本或系统服务。在解问题之前先来看看Linux的启动流程。 一、Linux的启动流程 主要顺序就是： 1. 加载内核 2. 启动初始化进程 3. 确定运行级别 4. 加载开机启动程序 5. 用户登录 启动流程的具体细节可以看看Linux 的启动流程
阅读全文
摘要：系统： CentOS release 6.8 (Final) iptables v1.4.7 执行命令： 配置如下： PS： http://lym6520.iteye.com/blog/1931239 https://www.cnblogs.com/grimm/p/5362096.html http
阅读全文
摘要：一、运行环境： Maven：3.5.2(点击下载) ，下载页 Tomcat：8.5.29(点击下载) ，下载页 JDK：jdk1.7.0_80(点击下载) ，下载页 MavenDependency: 二、配置与说明 tomcat访问日志格式配置，在config/server.xml里Host标签下加
阅读全文
摘要：第一步：生产新的网卡地址，启动系统。 第二步：修改主机名（注：此处根据个人需要，不修改也行，此处我是用于搭建集群，修改主机名做区分） 执行命令：vi /etc/sysconfig/network 修改主机名hostname的值 第三步：执行命令：vi /etc/udev/rules.d/70-per
阅读全文
摘要：URL重写这东西在工作中用了很多次了，但每次都忘记了要记得把知道的积累下来。 哎，要么认为没必要，要么就是没时间？！ 一、Apache 篇 官方地址：http://man.chinaunix.net/newsoft/ApacheManual/mod/mod_rewrite.html 1.htacce
阅读全文
摘要：ssh登陆不能在命令行中指定密码，也不能以shell中随处可见的，sshpass 的出现，解决了这一问题。它允许你用 -p 参数指定明文密码，然后直接登录远程服务器。 它支持密码从命令行,文件,环境变量中读取 $> sshpass -h Usage: sshpass [-f|-d|-p|-e] [-
阅读全文
摘要：涉及在linux命令行下进行快速移动光标、命令编辑、编辑后执行历史命令、Bang(!)命令、控制命令等。让basher更有效率。 常用 ctrl+左右键:在单词之间跳转 ctrl+a:跳到本行的行首 ctrl+e:跳到页尾 Ctrl+u：删除当前光标前面的文字 （还有剪切功能） ctrl+k：删除当
阅读全文
摘要：第一步，在/etc/yum.repos.d/目录下创建一个源配置文件nginx.repo： 填写如下内容： 保存，则会产生一个/etc/yum.repos.d/nginx.repo文件。 下面直接执行如下指令即可自动安装好Nginx： 安装完成，下面直接就可以启动Nginx了： 现在Nginx已经启
阅读全文
摘要：如下源码： ps: http://www.tuicool.com/articles/YBbMBzm https://blog.linuxeye.com/412.html https://blog.linuxeye.com/403.html https://blog.linuxeye.com/31.h
阅读全文