2017年3月31日
Python爬虫 Urllib库的高级用法
摘要： 1.设置Headers 有些网站不会同意程序直接用上面的方式进行访问，如果识别有问题，那么站点根本不会响应，所以为了完全模拟浏览器的工作，我们需要设置一些Headers 的属性。 首先，打开我们的浏览器，调试浏览器F12，我用的是Chrome，打开网络监听，示意如下，比如知乎，点登录之后，我们会发现 阅读全文
posted @ 2017-03-31 17:43 浅雨凉 阅读(552) 评论(0) 推荐(1) 编辑
Python爬虫入门 Urllib库的基本使用
摘要： 1.分分钟扒一个网页下来 怎样扒网页呢？其实就是根据URL来获取它的网页信息，虽然我们在浏览器中看到的是一幅幅优美的画面，但是其实是由浏览器解释才呈现出来的，实质它是一段HTML代码，加 JS、CSS，如果把网页比作一个人，那么HTML便是他的骨架，JS便是他的肌肉，CSS便是它的衣服。所以最重要的 阅读全文
posted @ 2017-03-31 14:13 浅雨凉 阅读(1198) 评论(0) 推荐(0) 编辑
Oracle wm_concat（）函数
摘要： oracle wm_concat(column)函数使我们经常会使用到的，下面就教您如何使用oraclewm_concat(column)函数实现字段合并 如： shopping: u_id goods num 1 苹果 2 2 梨子 5 1 西瓜 4 3 葡萄 1 3 香蕉 1 1 橘子 3 想要 阅读全文
posted @ 2017-03-31 10:28 浅雨凉 阅读(179428) 评论(4) 推荐(13) 编辑
2017年3月28日
linux cut命令详解
摘要： cut是一个选取命令，就是将一段数据经过分析，取出我们想要的。一般来说，选取信息通常是针对“行”来进行分析的，并不是整篇信息分析的。 （1）其语法格式为：cut [-bn] [file] 或 cut [-c] [file] 或 cut [-df] [file] 使用说明cut 命令从文件的每一行剪切 阅读全文
posted @ 2017-03-28 14:31 浅雨凉 阅读(1597) 评论(1) 推荐(0) 编辑
linux sort命令详解(转)
摘要： sort命令是帮我们依据不同的数据类型进行排序，其语法及常用参数格式： sort [-bcfMnrtk][源文件][-o 输出文件] 补充说明：sort可针对文本文件的内容，以行为单位来排序。 参 数： -b 忽略每行前面开始出的空格字符。 -c 检查文件是否已经按照顺序排序。 -f 排序时，忽略大 阅读全文
posted @ 2017-03-28 14:28 浅雨凉 阅读(616) 评论(1) 推荐(0) 编辑
linux awk 命令详解
摘要： awk是一个非常棒的数字处理工具。相比于sed常常作用于一整行的处理，awk则比较倾向于将一行分为数个“字段”来处理。运行效率高，而且代码简单，对格式化的文本处理能力超强。 调用awk 有三种方式调用awk 选项参数说明： Example:Consider the following text fi 阅读全文
posted @ 2017-03-28 14:19 浅雨凉 阅读(499) 评论(0) 推荐(0) 编辑
linux sed命令详解
摘要： sed是一个很好的文件处理工具，本身是一个管道命令，主要是以行为单位进行处理，可以将数据行进行替换、删除、新增、选取等特定工作，下面先了解一下sed的用法sed命令行格式为： sed [-nefri] ‘command’ 输入文本 常用选项： -n∶使用安静(silent)模式。在一般 sed 的用 阅读全文
posted @ 2017-03-28 14:05 浅雨凉 阅读(626) 评论(0) 推荐(0) 编辑
2017年3月22日
Oracle 数据导入导出操作 （转）
摘要： Oracle数据导入导出imp/exp 功能：Oracle数据导入导出imp/exp就相当与oracle数据还原与备份。 大多情况都可以用Oracle数据导入导出完成数据的备份和还原（不会造成数据的丢失）。 Oracle有个好处，虽然你的电脑不是服务器，但是你装了oracle客户端，并建立了连接 （ 阅读全文
posted @ 2017-03-22 17:01 浅雨凉 阅读(498) 评论(0) 推荐(0) 编辑
sqlldr用法
摘要： SQL*LOADER是ORACLE的数据加载工具，通常用来将操作系统文件迁移到ORACLE数据库中。SQL*LOADER是大型数据仓库选择使用的加载方法，因为它提供了最快速的途径（DIRECT，PARALLEL）。现在，我们抛开其理论不谈，用实例来使您快速掌握SQL*LOADER的使用方法。 首先， 阅读全文
posted @ 2017-03-22 11:08 浅雨凉 阅读(15605) 评论(0) 推荐(0) 编辑
2017年3月17日
Python os与sys模块解析
摘要： os与sys模块的官方解释如下： os: This module provides a portable way of using operating system dependent functionality. 这个模块提供了一种方便的使用操作系统函数的方法。 sys: This module 阅读全文
posted @ 2017-03-17 14:46 浅雨凉 阅读(324) 评论(0) 推荐(0) 编辑
2017年3月16日
Python Queue模块
摘要： 创建一个“队列”对象import Queuemyqueue = Queue.Queue(maxsize = 10)Queue.Queue类即是一个队列的同步实现。队列长度可为无限或者有限。可通过Queue的构造函数的可选参数maxsize来设定队列长度。如果maxsize小于1就表示队列长度无限。将 阅读全文
posted @ 2017-03-16 21:13 浅雨凉 阅读(240) 评论(0) 推荐(0) 编辑
Python socket编程
摘要： Python socket编程 （转） Socket socket起源于Unix，而Unix/Linux基本哲学之一就是“一切皆文件”，对于文件用【打开】【读写】【关闭】模式来操作。socket就是该模式的一个实现，socket即是一种特殊的文件，一些socket函数就是对其进行的操作（读/写IO、 阅读全文
posted @ 2017-03-16 20:09 浅雨凉 阅读(494) 评论(0) 推荐(0) 编辑
2017年3月15日
python select epoll poll的解析
摘要： select、poll、epoll三者的区别 select select最早于1983年出现在4.2BSD中，它通过一个select()系统调用来监视多个文件描述符的数组(在linux中一切事物皆文件，块设备，socket连接等。)，当select()返回后，该数组中就绪的文件描述符便会被内核修改标 阅读全文
posted @ 2017-03-15 00:10 浅雨凉 阅读(3588) 评论(0) 推荐(0) 编辑
2017年3月13日
python redis使用
摘要： 1，安装 pip install redis 2，基本使用 使用：import redisr = redis.Redis(host=’localhost’, port=6379, db=0)r['test'] = ‘test’ #或者可以r.set(‘test’, ‘test’) 设置keyr.ge 阅读全文
posted @ 2017-03-13 17:27 浅雨凉 阅读(1350) 评论(0) 推荐(0) 编辑
python executemany的使用
摘要： 使用executemany对数据进行批量插入的话，要注意一下事项： 这里args是一个包含多个元组的数组，每个元组对应mysql当中的一条数据，注意这里的created_day对应的%s没有引号。这里推测executemany自己首先对sql语句进行正则匹配%s然后在此基础上，对字符串进行嵌入处理， 阅读全文
posted @ 2017-03-13 13:38 浅雨凉 阅读(8339) 评论(0) 推荐(0) 编辑
2017年3月11日
python 三层架构说明
摘要： 三层架构(3-tier architecture) 通常意义上的三层架构就是将整个业务应用划分为:表现层(Presentation layer)、业务逻辑层(Business Logic Layer)、数据访问层(Data access layer)。 区分层次的目的即为了"高内聚低耦合"的思想。高 阅读全文
posted @ 2017-03-11 14:56 浅雨凉 阅读(8253) 评论(0) 推荐(0) 编辑
2017年3月10日
Python isinstance
摘要： 语法：isinstance（object，type） 作用：来判断一个对象是否是一个已知的类型。 其第一个参数（object）为对象，第二个参数（type）为类型名(int...)或类型名的一个列表((int,list,float)是一个列表)。其返回值为布尔型（True or flase）。 若对 阅读全文
posted @ 2017-03-10 17:37 浅雨凉 阅读(362) 评论(0) 推荐(0) 编辑
2017年3月9日
Windows安装mysql-python提示：error: Microsoft Visual C++ 9.0 is required
摘要： Windows安装mysql-python提示：error: Microsoft Visual C++ 9.0 is required，Get it from http://aka.ms/vcpython27。问题如何解决呢？ 方法如下： 在http://www.lfd.uci.edu/~gohlk 阅读全文
posted @ 2017-03-09 16:51 浅雨凉 阅读(960) 评论(0) 推荐(0) 编辑
CMD命令大全
摘要： cmd命令大全（第一部分） winver 检查Windows版本 wmimgmt.msc 打开windows管理体系结构(WMI) wupdmgr windows更新程序 wscript windows脚本宿主设置 write 写字板 winmsd 系统信息 wiaacmgr 扫描仪和照相机向导 w 阅读全文
posted @ 2017-03-09 11:15 浅雨凉 阅读(1975) 评论(0) 推荐(2) 编辑
2017年3月8日
Win7+CentOS双系统(二)
摘要： 在之前的文章中我们实现了Win7+CentOS6.3双系统的安装和使用，不过比较不幸的是在CentOS6.4版本时其安装文件大小已经超过了FAT文件系统所能容纳的单个文件大小4G。我们使用FAT文件系统格式的分区来存放CentOS安装文件供安装使用的操作就无法继续了。 这篇随笔介绍了使用工具在Win 阅读全文
posted @ 2017-03-08 17:53 浅雨凉 阅读(324) 评论(0) 推荐(0) 编辑
Win7+CentOS双系统（一）
摘要： 注意：1.由于涉及到对硬盘操作，请妥善备份数据，避免损失。 2.为了达到每个步骤都有图片覆盖，我使用了虚拟机来进行测试，不过请大家放心，我已经在自己的物理机上成功实现了。 3.我的步骤是绝对正确和缺一不可的，大家一定要按照我的操作来进行。 我先把需要的软件介绍一下 EasyBCD:为了添加和修改启动 阅读全文
posted @ 2017-03-08 17:49 浅雨凉 阅读(424) 评论(0) 推荐(0) 编辑
listener.ora/sqlnet.ora/tnsnames.ora配置文件详解
摘要： Oracle网络配置 三个配置文件 listener.ora、sqlnet.ora、tnsnames.ora ，都是放在$ORACLE_HOME/network/admin目录下。 英文说明： The sqlnet.ora is an optional file expressing more pa 阅读全文
posted @ 2017-03-08 17:38 浅雨凉 阅读(36281) 评论(0) 推荐(0) 编辑
linux ssh免密码登录的原理
摘要： 免密码登录原理 图解，server A免登录到server B: 1.在A上生成公钥私钥。 2.将公钥拷贝给server B，要重命名成authorized_keys(从英文名就知道含义了) 3.Server A向Server B发送一个连接请求。 4.Server B得到Server A的信息后， 阅读全文
posted @ 2017-03-08 15:37 浅雨凉 阅读(314) 评论(0) 推荐(0) 编辑
2017年3月5日
Linux Smaba服务器配置
摘要： Linux系统默认已经安装了Samba，但是没有安装Samba服务： 1，先查看安装情况：rpm -qa|grep samba 根据系统的安装情况选择下载或者通过光驱安装所缺的rpm包。 我的安装情况是： 使用命令：mount /dev/cdrom1 /mnt/cdrom1 通过mount把cdro 阅读全文
posted @ 2017-03-05 11:37 浅雨凉 阅读(391) 评论(0) 推荐(0) 编辑
在 redhat 6.4上安装Python 2.7.5
摘要： 在工作环境中使用的是python 2.7.*，但是CentOS 6.4中默认使用的python版本是2.6.6，故需要升级版本。 安装步骤如下： 1,先安装GCC，用如下命令yum install gcc gcc-c++ 2,下载python-2.7.5.tar.gz文件，修改文件权限chmode 阅读全文
posted @ 2017-03-05 01:01 浅雨凉 阅读(406) 评论(0) 推荐(0) 编辑
2017年3月4日
linux mail命令详解
摘要： 用程序发送邮件有3种方式，分别是： 1.模拟http请求邮件服务商网页实现邮件的发送 2.如果邮件服务商开通了smtp服务，那么可以通过smtp协议通过邮件代理服务商发送邮件 3.自己部署邮件服务器，直接在邮件服务器上发送邮件 邮件服务器的配置文件详解：http://www.cnblogs.com/ 阅读全文
posted @ 2017-03-04 15:41 浅雨凉 阅读(1690) 评论(0) 推荐(0) 编辑
/etc/postfix下 main.cf 配置文件详解
摘要： postconf -n #别名数据库(postalias/newaliases 命令生成) alias_database = hash:/etc/postfix/aliases #别名表,列出local mda 所使用的别名数据库 alias_maps = hash:/etc/postfix/ali 阅读全文
posted @ 2017-03-04 15:30 浅雨凉 阅读(6553) 评论(0) 推荐(0) 编辑
2017年3月2日
linux tar
摘要： tar命令[root@linux ~]# tar [-cxtzjvfpPN] 文件与目录 .... 参数：-c ：建立一个压缩文件的参数指令(create 的意思)；-x ：解开一个压缩文件的参数指令！-t ：查看 tarfile 里面的文件！特别注意，在参数的下达中， c/x/t 仅能存在一个！不 阅读全文
posted @ 2017-03-02 14:42 浅雨凉 阅读(195) 评论(0) 推荐(0) 编辑
2017年3月1日
Linux find命令详解
摘要： 文件查找命令find: 下面给出find命令的主要应用示例： ls -l #列出当前目录下所包含的测试文件 -rw-r--r--. 1 root root 48217 Nov 12 00:57 install.log -rw-r--r--. 1 root root 37 Nov 12 00:56 t 阅读全文
posted @ 2017-03-01 14:27 浅雨凉 阅读(920) 评论(0) 推荐(0) 编辑
2017年2月23日
Python with
摘要： 简介 在编程中会经常碰到这种情况：有一个特殊的语句块，在执行这个语句块之前需要先执行一些准备动作；当语句块执行完成后，需要继续执行一些收尾动作。例如，文件读写后需要关闭，数据库读写完毕需要关闭连接，资源的加锁和解锁等情况。 对于这种情况python提供了上下文管理器（Context Manager） 阅读全文
posted @ 2017-02-23 18:26 浅雨凉 阅读(404) 评论(0) 推荐(0) 编辑
Python 多进程概述
摘要： multiprocessing python中的多线程其实并不是真正的多线程，如果想要充分地使用多核CPU的资源，在python中大部分情况需要使用多进程。Python提供了非常好用的多进程包multiprocessing，只需要定义一个函数，Python会完成其他所有事情。借助这个包，可以轻松完成 阅读全文
posted @ 2017-02-23 17:21 浅雨凉 阅读(397) 评论(0) 推荐(0) 编辑
python paramiko模块简介
摘要： 记得每天多学习一点 阅读全文
posted @ 2017-02-23 14:17 浅雨凉 阅读(25345) 评论(0) 推荐(3) 编辑
2017年2月21日
python 全局变量和局部变量
摘要： 当你在函数定义内声明变量的时候，它们与函数外具有相同名称的其他变量没有任何关系，即变量名称对于函数来说是 局部 的。这称为变量的 作用域 。所有变量的作用域是它们被定义的块，从它们的名称被定义的那点开始。 使用局部变量 1 #coding:UTF8 2 3 def func(x): 4 print 阅读全文
posted @ 2017-02-21 10:57 浅雨凉 阅读(309) 评论(0) 推荐(0) 编辑
2017年2月20日
Oracle to_date函数
摘要： TO_DATE格式(以时间:2007-11-02 13:45:25为例)Year: yy two digits 两位年 显示值:07yyy three digits 三位年 显示值:007yyyy four digits 四位年 显示值:2007Month: mm number 两位月 显示值:11 阅读全文
posted @ 2017-02-20 17:10 浅雨凉 阅读(472) 评论(0) 推荐(0) 编辑
2017年2月19日
python 线程与进程
摘要： 线程和进程简介 应用程序和进程以及线程的关系？ 一个应用程序里可以有多个进程，一个进程里可以有多个线程 最原始的计算机是如何运行的？ CPU是什么？为什么要使用多个CPU？ 为什么要使用多线程？ 为什么要使用多进程？ java和C#中的多线程和python多线程的区别？ python多线程和傻缺的G 阅读全文
posted @ 2017-02-19 01:39 浅雨凉 阅读(231) 评论(0) 推荐(0) 编辑
2017年2月17日
python 反射
摘要： 反射 说反射之前先介绍一下__import__方法,这个和import导入模块的另一种方式 如果是多层导入: 反射即想到4个内置函数分别为:getattr、hasattr、setattr、delattr 获取成员、检查成员、设置成员、删除成员 下面逐一介绍 1 #coding:UTF8 2 3 4 阅读全文
posted @ 2017-02-17 18:03 浅雨凉 阅读(199) 评论(0) 推荐(0) 编辑
python 异常处理
摘要： 什么是异常？ 异常即是一个事件，该事件会在程序执行过程中发生，影响了程序的正常执行。 一般情况下，在Python无法正常处理程序时就会发生一个异常。 异常是Python对象，表示一个错误。 当Python脚本发生异常时我们需要捕获处理它，否则程序会终止执行。 抛出异常和自定义异常 raise 语句 阅读全文
posted @ 2017-02-17 17:32 浅雨凉 阅读(311) 评论(0) 推荐(0) 编辑
python 面向对象编程（二）
摘要： 在上一篇文章中谈到了类的基本定义和使用方法，这只体现了面向对象编程的三大特点之一：封装。 下面就来了解一下另外两大特征：继承和多态。 在Python中，如果需要的话，可以让一个类去继承一个类，被继承的类称为父类或者超类、也可以称作基类，继承的类称为子类。并且Python支持多继承，能够让一个子类有多 阅读全文
posted @ 2017-02-17 16:19 浅雨凉 阅读(214) 评论(0) 推荐(0) 编辑
python 面向对象编程（一）
摘要： 一.如何定义一个类 在进行python面向对象编程之前，先来了解几个术语：类，类对象，实例对象，属性，函数和方法。 类是对现实世界中一些事物的封装，定义一个类可以采用下面的方式来定义： 注意类名后面有个冒号，在block块里面就可以定义属性和方法了。当一个类定义完之后，就产生了一个类对象。类对象支持 阅读全文
posted @ 2017-02-17 16:18 浅雨凉 阅读(262) 评论(0) 推荐(0) 编辑
python json
摘要： 概念 序列化（Serialization）：将对象的状态信息转换为可以存储或可以通过网络传输的过程，传输的格式可以是JSON，XML等。反序列化就是从存储区域（JSON，XML）读取反序列化对象的状态，重新创建该对象。 JSON（Java Script Object Notation）：一种轻量级数 阅读全文
posted @ 2017-02-17 14:29 浅雨凉 阅读(187) 评论(0) 推荐(0) 编辑