09 2020 档案

摘要:import paramiko import re import sys,os import ConfigParser zu = sys.argv[1: ] print zu def sshcmd(ip, port,username,password,command): ssh = paramiko 阅读全文
posted @ 2020-09-30 17:15 chengxuyonghu 阅读(149) 评论(0) 推荐(0) 编辑
摘要:import paramiko def sshcmd(ip, port,username,password,command): ssh = paramiko.SSHClient() ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy()) s 阅读全文
posted @ 2020-09-29 15:57 chengxuyonghu 阅读(310) 评论(0) 推荐(0) 编辑
摘要:一、概述 command 模块可以帮助我们在远程主机上执行命令。 注意:使用 command 模块在远程主机中执行命令时,不会经过远程主机的 shell 处理,在使用 command 模块时,如果需要执行的命令中含有重定向、管道符等操作时,这些符号也会失效,比如”<”, “>”, “|”, “;” 阅读全文
posted @ 2020-09-28 18:00 chengxuyonghu 阅读(521) 评论(0) 推荐(0) 编辑
摘要:首先确定你要爬取的目标网站的表单提交方式,可以通过开发者工具看到。这里推荐使用chrome。 这里我用163邮箱为例 打开工具后再Network中,在Name选中想要了解的网站,右侧headers里的request method就是提交方式。status如果是200表示成功访问下面的有头信息,coo 阅读全文
posted @ 2020-09-21 14:59 chengxuyonghu 阅读(1009) 评论(0) 推荐(0) 编辑
摘要:一、正则表达式 正则表达式为我们提供了抓取数据的快捷方式。虽然该正则表达式更容易适应未来变化,但又存在难以构造、可读性差的问题。当在爬京东网的时候,正则表达式如下图所示: 利用正则表达式实现对目标信息的精准采集 此外 ,我们都知道,网页时常会产生变更,导致网页中会发生一些微小的布局变化时,此时也会使 阅读全文
posted @ 2020-09-21 14:19 chengxuyonghu 阅读(220) 评论(0) 推荐(0) 编辑
摘要:通用爬虫和聚焦爬虫 根据使用场景,网络爬虫可分为通用爬虫和聚焦爬虫两种. 通用爬虫 通用网络爬虫 是 捜索引擎抓取系统(Baidu、Google、Yahoo等)的重要组成部分。主要目的是将互联网上的网页下载到本地,形成一个互联网内容的镜像备份。 通用搜索引擎(Search Engine)工作原理 通 阅读全文
posted @ 2020-09-21 11:32 chengxuyonghu 阅读(773) 评论(0) 推荐(0) 编辑
摘要:就单纯从ELK上来讨论,其实是三个组件的缩写,即:ElasticSearch、Logstash、Kibana,当然结合实际业务,也可以把ELK发展到ELKF,也就是多了一个Filebeat;这里的Filebeat只是众多beat中较为出名、用的最多的一个,还有很多beat可以实现不同文件、类型的日志 阅读全文
posted @ 2020-09-17 16:10 chengxuyonghu 阅读(175) 评论(0) 推荐(0) 编辑
摘要:1.为什么要用缓存 内存在整个计算机系统来说也就是一个缓存,CPU操作内存速度很快;因为操作数据的时候,先从硬盘中取出数据放到内存中,然后CPU操作数据 缓存:提升访问效率,将一些频繁访问地放在缓存里面 常见的缓存: Ehcache:继承在应用服务器里面内,很好集成,方便简易;容量小 Mem cac 阅读全文
posted @ 2020-09-17 14:39 chengxuyonghu 阅读(186) 评论(0) 推荐(0) 编辑
摘要:我们应该知道 Windows 有一个默认的安装目录专门用来安装软件。Linux 的软件安装目录也应该是有讲究的,遵循这一点,对后期的管理和维护也是有帮助的。 /usr 系统级的目录,可以理解为 C:/Windows/ /usr/lib 可理解为 C:/Windows/System32 。 /usr/ 阅读全文
posted @ 2020-09-17 13:45 chengxuyonghu 阅读(170) 评论(0) 推荐(0) 编辑
摘要:一、概述 主要功能:应用解耦,异步消息,流量削锋等问题架构设计:实现高性能,高可用,可伸缩和最终一致性架构常用消息队列:ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ使用场景:1)RabbitMQ:对数据一致性、稳定性和可靠性要求很高的场景,对性能和吞吐 阅读全文
posted @ 2020-09-17 09:46 chengxuyonghu 阅读(3309) 评论(0) 推荐(0) 编辑
摘要:import pandas as pd import csv for i in range(1,178): # 爬取全部页 tb = pd.read_html('http://s.askci.com/stock/a/?reportTime=2017-12-31&pageNum=%s' % (str( 阅读全文
posted @ 2020-09-16 16:37 chengxuyonghu 阅读(505) 评论(0) 推荐(0) 编辑
摘要:[root@Gin scripts]# dig www.cnblogs.com ; <<>> DiG 9.8.2rc1-RedHat-9.8.2-0.30.rc1.el6 <<>> www.cnblogs.com ;; global options: +cmd ##Dig的部分输出告诉我们一些有关于 阅读全文
posted @ 2020-09-16 11:32 chengxuyonghu 阅读(192) 评论(0) 推荐(0) 编辑
摘要:DNS 域名解析原理 域名解析过程 1.在浏览器中输入www.qq.com域名,操作系统会先检查自己本地的hosts文件是否有这个网址映射关系,如果有,就先调用这个IP地址映射,完成域名解析。 2.如果hosts里没有这个域名的映射,则查找本地DNS解析器缓存,是否有这个网址映射关系,如果有,直接返 阅读全文
posted @ 2020-09-14 10:55 chengxuyonghu 阅读(1538) 评论(0) 推荐(0) 编辑
摘要:由于传统的磁盘管理不能对磁盘进行磁盘管理,因此诞生了LVM技术,LVM技术最大的特点就是对磁盘进行动态管理。 由于LVM的逻辑卷的大小更改可以进行动态调整,且不会出现丢失数据的情况。 一、LVM基本属于介绍 物理存储介质(The physical media) 这里指系统的存储设备:硬盘,如:/de 阅读全文
posted @ 2020-09-11 16:43 chengxuyonghu 阅读(483) 评论(0) 推荐(0) 编辑
摘要:# -*- coding: utf-8 -*- import paramiko import threading def run(host_ip, username, password, command): ssh = paramiko.SSHClient() try: ssh.set_missin 阅读全文
posted @ 2020-09-09 15:00 chengxuyonghu 阅读(3076) 评论(0) 推荐(0) 编辑
摘要:#!/usr/bin/python # coding=utf-8 import paramiko import re class ssh_test(): def __init__(self,host,passwd,username): self.pwd = passwd self.name = us 阅读全文
posted @ 2020-09-09 11:11 chengxuyonghu 阅读(523) 评论(0) 推荐(0) 编辑
摘要:1、安装paramiko模块 pip install paramiko 可以修改ssh连接超时时间,windows下路径:在安装路径Python\Python36\Lib\site-packages\paramiko\transport.py,修改self.banner_timeout = 60(设 阅读全文
posted @ 2020-09-09 10:39 chengxuyonghu 阅读(7932) 评论(0) 推荐(0) 编辑
摘要:在python中,glob模块是用来查找匹配的文件的 ,在查找的条件中,需要用到Unix shell中的匹配规则: * : 匹配所所有 ? : 匹配一个字符 *.* : 匹配如:[hello.txt,cat.xls,xxx234s.doc] ?.* : 匹配如:[1.txt,h.py] ?.gif 阅读全文
posted @ 2020-09-07 15:39 chengxuyonghu 阅读(407) 评论(0) 推荐(0) 编辑
摘要:HADR是high availability disaster recovery的简写。组成HADR,需要一对机器(DB2并没有支持多个从机,是因为这样会给系统的管理带来很大麻烦),一个主机(primary),一个从机(secondary)。 1.数据库版本必须一致,此例为8.2ese 2.运行db 阅读全文
posted @ 2020-09-07 14:37 chengxuyonghu 阅读(1935) 评论(0) 推荐(0) 编辑
摘要:1 常用的命令 CPU Memory Disk Network 标准UNIX命令(包括HP、SUN等) vmstat, sar, ps vmstat, ps iostat, sar, vmstat, netstat, nfsstat AIX 详细输出 tprof svmon, rmss filemo 阅读全文
posted @ 2020-09-07 09:31 chengxuyonghu 阅读(531) 评论(0) 推荐(0) 编辑
摘要:下面就一一介绍一下内置函数的用法: 下面就一一介绍一下内置函数的用法: 1、abs() 返回一个数值的绝对值,可以是整数或浮点数等。 print(abs(-18)) print(abs(0.15)) result: 18 0.15 2、all(iterable) 如果iterable的所有元素不为0 阅读全文
posted @ 2020-09-05 23:00 chengxuyonghu 阅读(161) 评论(0) 推荐(0) 编辑
摘要:Python中定义函数时,若想在函数内部对函数外的变量进行操作,就需要在函数内部声明其为global。 例子1x = 1 def func(): x = 2 func()print(x) 输出:1 此时没有使用global关键字,无法对全局变量num进行修改 在func函数中并未在x前面加globa 阅读全文
posted @ 2020-09-04 17:27 chengxuyonghu 阅读(1389) 评论(0) 推荐(0) 编辑
摘要:python 模块codecs python对多国语言的处理是支持的很好的,它可以处理现在任意编码的字符,这里深入的研究一下python对多种不同语言的处理。 有一点需要清楚的是,当python要做编码转换的时候,会借助于内部的编码,转换过程是这样的: 原有编码 -> 内部编码 -> 目的编码 py 阅读全文
posted @ 2020-09-04 15:59 chengxuyonghu 阅读(608) 评论(0) 推荐(0) 编辑
摘要:TCP在真正的读写操作之前,server与client之间必须建立一个连接, 当读写操作完成后,双方不再需要这个连接时它们可以释放这个连接, 连接的建立通过三次握手,释放则需要四次握手, 所以说每个连接的建立都是需要资源消耗和时间消耗的。 1. TCP短连接 模拟一种TCP短连接的情况: clien 阅读全文
posted @ 2020-09-03 13:47 chengxuyonghu 阅读(673) 评论(0) 推荐(0) 编辑
摘要:1、 打开命令行窗口 #db2cmd 2、 打开控制中心 # db2cmd db2cc 3、 打开命令编辑器 db2cmd db2ce 操作数据库命令 4、 启动数据库实例 #db2start [5、 停止数据库实例 #db2stop 如果你不能停止数据库由于激活的连接,在运行db2stop前执行d 阅读全文
posted @ 2020-09-03 10:24 chengxuyonghu 阅读(576) 评论(0) 推荐(0) 编辑
摘要:os.system('cat /proc/cpuinfo') output = os.popen('cat /proc/cpuinfo') print output.read() 通过 os.popen() 返回的是 file read 的对象,对其进行读取 read() 的操作可以看到执行的输出。 阅读全文
posted @ 2020-09-02 15:24 chengxuyonghu 阅读(599) 评论(0) 推荐(0) 编辑
摘要:#####baidu ip #######220.181.38.148220.181.38.133192.168.1.10 #!/usr/bin/python # -*- coding:utf-8 -*-import osimport sys,reimport subprocess #定义正则,排除 阅读全文
posted @ 2020-09-02 11:30 chengxuyonghu 阅读(186) 评论(0) 推荐(0) 编辑
摘要:>>> import datetime >>> d1 = datetime.datetime(2005, 2, 16) >>> d2 = datetime.datetime(2004, 12, 31) >>> (d1 - d2).days 上例演示了计算两个日期相差天数的计算 import date 阅读全文
posted @ 2020-09-01 14:16 chengxuyonghu 阅读(1623) 评论(0) 推荐(0) 编辑
摘要:方法1 #!/usr/bin/env bashdate1="$1"date2="$2" echo "date1: $date1"echo "date2: $date2" tempdate=`date -d "-0 day $date1" +%F` enddate=`date -d "-0 day $ 阅读全文
posted @ 2020-09-01 14:10 chengxuyonghu 阅读(449) 评论(0) 推荐(0) 编辑
摘要:IBM共享磁盘双机系统的启动 启动cluster 在主机上使用smit clstart 或者运行 # /usr/sbin/cluster/etc/rc.cluster -boot -N -i 命令启动cluster 先启动的节点将成为主节点,将自动获得浮动IP,监控程序等资源 在备机上使用smit 阅读全文
posted @ 2020-09-01 14:03 chengxuyonghu 阅读(1014) 评论(0) 推荐(0) 编辑
摘要:主要查看硬件的永久性报错 #errpt -dH | pg 软件的永久性报错 #errpt -dS | pg 还有系统又没又报警灯(如果不正常,在后面的帖子将会细讲) 第三:机器的序列号:#uname -Mu 第四:操作系统版本:#oslevel -r 注:又时候不能使用是因为系统版本低的原因 第五: 阅读全文
posted @ 2020-09-01 11:39 chengxuyonghu 阅读(1187) 评论(0) 推荐(0) 编辑
摘要:1. $# 传递到脚本的参数个数 2. $* 以一个单字符串显示所有向脚本传递的参数变量。与位置变量不同,此选项参数可超过9个 3. $$ 脚本运行的当前进程ID号 4. $! 后台运行的最后一个进程的进程ID号 5. $@ 与$#相同,但是使用时加引号,并在引号中返回每个参数 6. $- 显示sh 阅读全文
posted @ 2020-09-01 11:00 chengxuyonghu 阅读(459) 评论(0) 推荐(0) 编辑
摘要:root@test ~]# ping 192.168.2.1 -c 10 | awk '{ print $0"\t" strftime("%H:%M:%S",systime()) } 'PING 192.168.2.1 (192.168.2.1) 56(84) bytes of data. 10:3 阅读全文
posted @ 2020-09-01 09:18 chengxuyonghu 阅读(1566) 评论(0) 推荐(0) 编辑
摘要:shell中截取字符串的方法有很多中, ${expression}一共有9种使用方法。 ${parameter:-word} ${parameter:=word} ${parameter:?word} ${parameter:+word} 上面4种可以用来进行缺省值的替换。 ${#parameter 阅读全文
posted @ 2020-09-01 09:15 chengxuyonghu 阅读(509) 评论(0) 推荐(0) 编辑
摘要:shell脚本实现将文件中的几行输出合并成一行显示 现在有一个文件aa.txt ,其实现格式如下,而我想实现的结果是192.168.1.17 down [root@localhost shell]# cat aa.txt192.168.1.17down192.168.1.103open192.168 阅读全文
posted @ 2020-09-01 09:12 chengxuyonghu 阅读(1206) 评论(0) 推荐(0) 编辑
摘要:#!/usr/bin/env bash #输入参数 1=年份 2=开始月份 3=结束月份 for i in `seq -w $2 $3`; do #参数1为指定的年份 year=$1 echo $year monthday=${year}${i}01 echo $monthday #产生每月第一天 阅读全文
posted @ 2020-09-01 09:10 chengxuyonghu 阅读(815) 评论(0) 推荐(0) 编辑
摘要:shell版本#!/bin/bashfor i in `cat /home/haoren/iplist20171214.txt`do (sleep 1;)|telnet $i 80 2>&1 |grep "Connected to $ip$i">/dev/null 2>&1 if [ $? == 0 阅读全文
posted @ 2020-09-01 09:09 chengxuyonghu 阅读(168) 评论(0) 推荐(0) 编辑