常用命令

REF

linux

#!/bin/bash  
# 获取要监控的本地服务器IP地址  
IP=`ifconfig | grep inet | grep -vE 'inet6|127.0.0.1' | awk '{print $2}'`  
echo "IP地址："$IP  
   
# 获取cpu总核数  
cpu_num=`grep -c "model name" /proc/cpuinfo`  
echo "cpu总核数："$cpu_num  
   
# 1、获取CPU利用率  
################################################  
#us 用户空间占用CPU百分比  
#sy 内核空间占用CPU百分比  
#ni 用户进程空间内改变过优先级的进程占用CPU百分比  
#id 空闲CPU百分比  
#wa 等待输入输出的CPU时间百分比  
#hi 硬件中断  
#si 软件中断  
#################################################  
# 获取用户空间占用CPU百分比  
cpu_user=`top -b -n 1 | grep Cpu | awk '{print $2}' | cut -f 1 -d "%"`  
echo "用户空间占用CPU百分比："$cpu_user  
   
# 获取内核空间占用CPU百分比  
cpu_system=`top -b -n 1 | grep Cpu | awk '{print $4}' | cut -f 1 -d "%"`  
echo "内核空间占用CPU百分比："$cpu_system  
   
# 获取空闲CPU百分比  
cpu_idle=`top -b -n 1 | grep Cpu | awk '{print $8}' | cut -f 1 -d "%"`  
echo "空闲CPU百分比："$cpu_idle  
   
# 获取等待输入输出占CPU百分比  
cpu_iowait=`top -b -n 1 | grep Cpu | awk '{print $10}' | cut -f 1 -d "%"`  
echo "等待输入输出占CPU百分比："$cpu_iowait  
   
#2、获取CPU上下文切换和中断次数  
# 获取CPU中断次数  
cpu_interrupt=`vmstat -n 1 1 | sed -n 3p | awk '{print $11}'`  
echo "CPU中断次数："$cpu_interrupt  
   
# 获取CPU上下文切换次数  
cpu_context_switch=`vmstat -n 1 1 | sed -n 3p | awk '{print $12}'`  
echo "CPU上下文切换次数："$cpu_context_switch  
   
#3、获取CPU负载信息  
# 获取CPU15分钟前到现在的负载平均值  
cpu_load_15min=`uptime | awk '{print $11}' | cut -f 1 -d ','`  
echo "CPU 15分钟前到现在的负载平均值："$cpu_load_15min  
   
# 获取CPU5分钟前到现在的负载平均值  
cpu_load_5min=`uptime | awk '{print $10}' | cut -f 1 -d ','`  
echo "CPU 5分钟前到现在的负载平均值："$cpu_load_5min  
   
# 获取CPU1分钟前到现在的负载平均值  
cpu_load_1min=`uptime | awk '{print $9}' | cut -f 1 -d ','`  
echo "CPU 1分钟前到现在的负载平均值："$cpu_load_1min  
   
# 获取任务队列(就绪状态等待的进程数)  
cpu_task_length=`vmstat -n 1 1 | sed -n 3p | awk '{print $1}'`  
echo "CPU任务队列长度："$cpu_task_length  
   
#4、获取内存信息  
# 获取物理内存总量  
mem_total=`free | grep Mem | awk '{print $2}'`  
echo "物理内存总量："$mem_total  
   
# 获取操作系统已使用内存总量  
mem_sys_used=`free | grep Mem | awk '{print $3}'`  
echo "已使用内存总量(操作系统)："$mem_sys_used  
   
# 获取操作系统未使用内存总量  
mem_sys_free=`free | grep Mem | awk '{print $4}'`  
echo "剩余内存总量(操作系统)："$mem_sys_free  
   
# 获取应用程序已使用的内存总量  
mem_user_used=`free | sed -n 3p | awk '{print $3}'`  
echo "已使用内存总量(应用程序)："$mem_user_used  
   
# 获取应用程序未使用内存总量  
mem_user_free=`free | sed -n 3p | awk '{print $4}'`  
echo "剩余内存总量(应用程序)："$mem_user_free  
   
   
# 获取交换分区总大小  
mem_swap_total=`free | grep Swap | awk '{print $2}'`  
echo "交换分区总大小："$mem_swap_total  
   
# 获取已使用交换分区大小  
mem_swap_used=`free | grep Swap | awk '{print $3}'`  
echo "已使用交换分区大小："$mem_swap_used  
   
# 获取剩余交换分区大小  
mem_swap_free=`free | grep Swap | awk '{print $4}'`  
echo "剩余交换分区大小："$mem_swap_free  
   
  
#5、获取磁盘I/O统计信息  
echo "指定设备(/dev/sda)的统计信息"  
# 每秒向设备发起的读请求次数  
disk_sda_rs=`iostat -kx | grep sda| awk '{print $4}'`  
echo "每秒向设备发起的读请求次数："$disk_sda_rs  
   
# 每秒向设备发起的写请求次数  
disk_sda_ws=`iostat -kx | grep sda| awk '{print $5}'`  
echo "每秒向设备发起的写请求次数："$disk_sda_ws  
   
# 向设备发起的I/O请求队列长度平均值  
disk_sda_avgqu_sz=`iostat -kx | grep sda| awk '{print $9}'`  
echo "向设备发起的I/O请求队列长度平均值"$disk_sda_avgqu_sz  
   
# 每次向设备发起的I/O请求平均时间  
disk_sda_await=`iostat -kx | grep sda| awk '{print $10}'`  
echo "每次向设备发起的I/O请求平均时间："$disk_sda_await  
   
# 向设备发起的I/O服务时间均值  
disk_sda_svctm=`iostat -kx | grep sda| awk '{print $11}'`  
echo "向设备发起的I/O服务时间均值："$disk_sda_svctm  
   
# 向设备发起I/O请求的CPU时间百分占比  
disk_sda_util=`iostat -kx | grep sda| awk '{print $12}'`  
echo "向设备发起I/O请求的CPU时间百分占比："$disk_sda_util  

大文件处理

# 将文件按每个100000行分割成小文件
slpit -I 100000 fileName prefix

# 批量将文件夹下所有文件加上.csv后缀
find . -type f -exec mv '{}' '{}'.csv \;

# 批量在文件夹下所有文件的开头添加一行 photo_id
find . -type f -exec sed -i '' '1s/^/photo_id\n/' '{}' \;

# 批量操作文件夹下所有文件，删除每个文件的开头一行
find . -type f -exec sed -i '' '1d' '{}' \;

arthas

1. 安装arthas

curl -O https://arthas.aliyun.com/arthas-boot.jar
java -jar arthas-boot.jar

2. 使用

ognl -c 5197848c '#bf=:[@com.kuaishou.framework.spring.BeanFactory@getBean(#this)],#bf("userBucketInternalServiceImpl").get("KWAI", 150000032891076L, "ANDROID_845855cb9fcd7f07", @com.kuaishou.ip.constant.Country@IDN, @java.util.Locale@ENGLISH, @com.kuaishou.constant.AppType@ANDROID_KWAI_BULLDOG, @com.kuaishou.oversea.user.bucket.model.OverseaMcc@getMcc("410"))'


classloader -l
max(loadedCount)
java -jar arthas-boot.jar
http://files.kuaishou.internal:8901/data/repo/sources/kuaishou/kt/uvideo/kwaigo/online/45364/snack-api-app-1.0.184-SNAPSHOT.war

/data/web_server/apache/tomcat_8600/conf/server.xml

ognl -c 2a74b69b '#bf=:[@com.kuaishou.framework.spring.BeanFactory@getBean(#this)],#bf("snackMagicFaceViewService").getById(
@com.kt.production.vo.SnackMagicFaceApiDTO@SnackMagicFaceApiDTO()
)'


# 传入list型参数
ognl -c 75ab2381 '#bf=:[@com.kuaishou.framework.spring.BeanFactory@getBean(#this)],#bf("mvFavoriteDao").getMvFavoritesAll(new java.util.ArrayList({150000449650545L}))'

# 传入ExploreLocale
ognl -c 67424e82 '#bf=:[@com.kuaishou.framework.spring.BeanFactory@getBean(#this)],#bf("operationSnackPartnerRpcClient").isPartner(new java.util.ArrayList({150000438248561L}), @com.snack.explore.model.ExploreLocale@fromValue("in"))'

# 不过滤watch
watch com.kt.production.controller.SnackMagicFaceController getMaterialsInGroup '{params,returnObj,throwExp}' -v -n 5 -x 3 '1==1'

# 带条件watch
watch com.kwai.music.server.repository.trinity.repository.TrinityMusicPhotoRepository getUsedCount '{params,returnObj,throwExp}' 'params[0].getId() != 0L'  -n 5  -x 3

watch com.snack.photo.mv.MvViewService getMaterialViewModels '{params,returnObj,throwExp}' -v -n 5 -x 3 '1==1'java -jar arthas-boot.jar --telnet-port 9998 --http-port -1

ES

es查询模版

{
  "query": {
    "bool": {
      "filter": [
        {
          "terms": {
            "photo_id": [
              150001242345948
            ]
          }
        }
      ]
    }
  },
  "from": 0,
  "size": 10
}