06 2019 档案
摘要：环境：CentOS release 6.8 (Final) # 直接编译python3.7在使用pip3安装依赖的时候报错： Can't connect to HTTPS URL because the SSL module is not available. 解决方法： 1.编译安装OpenSSL 1.0.2j版本并重新配置环境变量 下载OpenSSL源码包： wget http...
阅读全文
摘要：目标分析：目标：百度百科python词条相关词条网页 - 标题和简介 入口页：https://baike.baidu.com/item/Python/407313 URL格式： - 词条页面URL：/item/xxxx 数据格式： - 标题： <dd class="lemmaWgt-lemmaTit
阅读全文
摘要：网页下载器示例： # 运行结果 beautifulsoap使用示例
阅读全文
摘要：shell编程系列26--大型脚本工具开发实战 大型脚本工具开发实战 拆分脚本功能，抽象函数 1、function get_all_group 返回进程组列表字符串 2、function get_all_process 返回进程名列表字符串"nginx httpd mysql datanode" 3、function get_process_info 返回进程详细信息...
阅读全文
摘要：shell编程系列25--shell操作数据库实战之备份MySQL数据，并通过FTP将其传输到远端主机 备份mysql中的库或者表 mysqldump 常用参数详解： -u 用户名 -p 密码 -h 服务器ip地址 -d 等价于--no-data 只导出表结构 -t 等价于--no-create-info 只导出数据，不导出建表语句 -A 等...
阅读全文
摘要：shell编程系列24--shell操作数据库实战之利用shell脚本将文本数据导入到mysql中 利用shell脚本将文本数据导入到mysql中 需求1：处理文本中的数据，将文本中的数据插入到mysql中 1010 jerry 1991-12-13 male 1011 mike 1991-12-13 female 101...
阅读全文
摘要：shell编程系列23--shell操作数据库实战之mysql命令参数详解 mysql命令参数详解 -u 用户名 -p 用户密码 -h 服务器ip地址 -D 连接的数据库 -N 不输出列信息 -B 使用tab键代替默认交互分隔符 -e 执行sql语句 其他选项 -E 垂直输出 -H 以HTML格式输
阅读全文
摘要：批量删除生产环境数据库表的示例：
阅读全文
摘要：shell编程系列21--文本处理三剑客之awk中数组的用法及模拟生产环境数据统计 shell中的数组的用法： shell数组中的下标是从0开始的 array=("Allen" "Mike" "Messi" "Jerry" "Hanmeimei" "Wang") 打印元素： echo ${array[2]} 打印元素个数: echo...
阅读全文
摘要：shell编程系列20--文本处理三剑客之awk常用选项 awk选项总结 选项 解释 -v 参数传递 -f 指定脚本文件 -F 指定分隔符 -V 查看awk的版本号 [root@localhost shell]# awk -v num2="$num1" -v var1="$var" 'BEGIN{print num2,...
阅读全文
摘要：shell编程系列19--文本处理三剑客之awk中的字符串函数 字符串函数对照表(上) 函数名 解释 函数返回值 length(str) 计算字符串长度 整数长度值 index(str1,str2) 在str1中查找str2的位置 返回值为位置索引，从1开始计数 tolower(...
阅读全文
摘要：shell编程系列18--文本处理三剑客之awk动作中的条件及if/while/do while/for循环语句条件语句 if(条件表达式) 动作1 else if(条件表达式) 动作2 else 动作3 循环语句： while循环： while(条件表达式) 动作 do w...
阅读全文
摘要：shell编程系列17--文本处理三剑客之awk动作中的表达式用法 awk动作表达式中的算数运算符 awk动作中的表达式用法总结： 运算符 含义 + 加 - 减 * 乘 / 除 % 模 ^或** 乘方 ++x 在返...
阅读全文
摘要：shell编程系列16--文本处理三剑客之awk模式匹配的两种方法 awk的工作模式 第一种模式匹配：RegExp 第二种模式匹配：关系运算匹配 用法格式对照表 语法格式 含义 RegExp 按正则表达式匹配 关系运算 按关系运算匹配 awk模式匹配用法总结： 第一种方法：RegExp 第二种方法：
阅读全文
摘要：shell编程系列15--文本处理三剑客之awk格式化输出printf printf的格式说明符 格式符 含义 %s 打印字符串 %d 打印十进制数 %f 打印一个浮点数 %x 打印十六进制数 %o 打印八进制数 %e 打印数学的科学计数法形式 %c 打印单个字符的ASCII码 ...
阅读全文
摘要：shell编程系列14--文本处理三剑客之awk的概述及常用方法总结 awk是一个文本处理工具，通常用于处理数据并生成结果报告 awk的命名是它的创始人 Alfred Aho、Peter Weinberger和Brian Kernighan 姓氏的首个字母组成的 awk的工作模式 语法格式 第一种形式： awk 'BEGIN{}pattern{commands}END{}' file_...
阅读全文
摘要：shell编程系列13--文本处理三剑客之sed利用sed追加文件内容 追加用法总结： 1、a 在匹配行后面追加 2、i 在匹配行前面追加 3、r 将文件内容追加到匹配行后面 4、w 将匹配行写入指定文件 追加用法示例详解： 1、a (1)、passwd文件第10行后面追加"Add Line Beh
阅读全文
摘要：shell编程系列12--文本处理三剑客之sed利用sed修改文件内容 修改命令对照表 编辑命令 1s/old/new/ 替换第1行内容old为new 1,10s/old/new/ 替换第1行到10行的内容old为new 1,+5s/old/new/ 替换1行到6行的内容old为new /patte
阅读全文
摘要：shell编程系列11--文本处理三剑客之sed利用sed删除文本中的内容 删除命令对照表 命令 含义 1d 删除第一行内容 1,10d 删除1行到10行的内容 10,+5d 删除10行到16行的内容 /pattern1/d 删除每行中匹配到patte...
阅读全文
摘要：my.cnf 示例
阅读全文
摘要：shell编程系列9--文本处理三剑客之sed概述及常见用法总结 sed的工作模式：对文本的行数据一行行处理，如下图 sed(stream editor)，是流编辑器，依据特定的匹配模式，对文本逐行匹配，并对匹配行进行特定处理 语法格式 第一种形式：stdout | sed [option] "pattern command" 第二种形式：sed [option] "pattern ...
阅读全文
摘要：grep和egrep 第一种形式：grep [option] [pattern] [file1,file2...] 第二种形式：command | grep [option] [pattern] grep参数 选项 含义 -v 不显示匹配行信息 -i 搜索时忽略大小写 -n 显示行号 -r 递归搜索 -E 支持扩展正则表达式 -F 不按正则表达式...
阅读全文
摘要：shell编程系列7--shell中常用的工具find、locate、which、whereis 1.文件查找之find命令 语法格式：find [路径] [选项] [操作] 选项 -name 根据文件名查找 -perm 根据文件权限查找 -prune 该选项可以排除某些查找目录 -user 根据文
阅读全文