随笔分类 - python
摘要：原文链接:http://www.limerence2017.com/2019/10/22/python29/ 抓取准备 今天是10月24日，祝所有程序员节日快乐。今天打算写个爬虫抓取3DMGAME论坛美女cosplay壁纸。论坛首页网址为https://www.3dmgame.com/tu_53_1
阅读全文
摘要：python开发，有时候需要设计单例模式保证操作的唯一性和安全性。理论上python语言底层实现和C/C++不同，python采取的是引用模式，当一个对象是可变对象，对其修改不会更改引用的指向，当一个对象是不可修改对象，对其修改会改变引用指向。 可变对象和不可变对象 不可变对象 该对象所指向的内存中
阅读全文
摘要：selenium 是Web应用测试工具，可以利用selenium和python，以及chromedriver等工具实现一些动态加密网站的抓取。本文利用这些工具抓取淘宝内衣评价买家秀图片。 准备工作 下面先安装selenium，在命令行输入python，然后输入安装命令 1 pip install s
阅读全文
摘要：分析ajax请求格式，模拟发送http请求，从而获取网页代码，进而分析取出需要的数据和图片。这里分析ajax请求，获取cosplay美女图片。 登陆今日头条，点击搜索，输入cosplay 下面查看浏览器F12，点击XHR，这里能截取ajax请求，由于已经请求过该页面，所以点击F5，刷新，如下图下面我
阅读全文
摘要：BeautifulSoup是python的html解析库，处理html非常方便 BeautifulSoup 安装 pip install beautifulsoup4 BeautifulSoup 配合的解析器 python 标准库解析器不需要第三方库，处理效率一般，lxml比较快，需要C语言库支持，
阅读全文
摘要：Xpath最初用来处理XML解析，同样适用于HTML文档处理。相比正则表达式更方便一些 Xpath基本规则 下面举例使用下 result.decode(‘utf-8’) 可以补全缺失的html格式字符串html.xpath(‘//*’)查找根节点下所有子孙节点html.xpath(‘//a[@cla
阅读全文
摘要：本文介绍如何结合前面讲解的基本知识，采用requests，正则表达式，cookies结合起来，做一次实战，抓取猫眼电影排名信息。 用requests写一个基本的爬虫 排行信息大致如下图网址链接为http://maoyan.com/board/4?offset=0我们通过点击查看源文件，可以看到网页信
阅读全文
摘要：原文链接：http://www.limerence2017.com/2018/01/11/python22/ 本文介绍python如何使用数据库方面的知识。 SQLite SQLite是一种嵌入式数据库，本身是*.db的文件。通过python操作数据库的步骤：1 连接数据库返回connection连
阅读全文
摘要：原文链接： https://www.jianshu.com/p/369ec15bfe22 本文介绍python发送邮件模块smtplib以及相关MIME模块。smtplib用于生成邮件发送的代理，发送邮件前需要通过MIMEText构造邮件内容。 发送纯文本邮件 下面是个发送纯文本邮件的例子。 MIM
阅读全文
摘要：原文链接：http://www.limerence2017.com/2018/01/02/python20/ python 网络编程和基本的C语言编程一样，效率不是很高，如果为了封装通信库建议采用C/C++做底层封装，采用epoll、poll、iocp等网络模型封装，编译成网络库供其他模块使用。这里
阅读全文
摘要：原文链接：http://www.limerence2017.com/2017/12/28/python19/#more 介绍几个python中常见的第三方库. Pillow Pillow简称PIL，是python中常用的图形图像处理模块。写一个简单的例子 Image.open函数打开一张图片，然后调
阅读全文
摘要：转载自：原文链接 前几篇文章介绍了urllib库基本使用和爬虫的简单应用，本文介绍如何通过post信息给网站，保存登陆后cookie，并用于请求有权限的操作。保存cookie需要用到cookiejar类，可以输出cookie信息查看下 1 通过http.cookiejar.CookieJar()创建
阅读全文
摘要：这一篇巩固前几篇文章的学到的技术，利用urllib库爬取美女图片，其中采用了多线程，文件读写，目录匹配，正则表达式解析，字符串拼接等知识，这些都是前文提到的，综合运用一下，写个爬虫示例爬取美女图片。先定义几个匹配规则和User_Agent 读者可以根据不同网站的代码去修改这些规则，达到匹配一些网站的
阅读全文
摘要：原文链接：爬取糗事百科段子 利用前面学到的文件、正则表达式、urllib的知识，综合运用，爬取糗事百科的段子先用urllib库获取糗事百科热帖第一页的数据。并打开文件进行保存，正好可以熟悉一下之前学过的文件知识。 下面要用到学过的正则表达式的知识，过滤掉没有用的信息，只获取评论数，作者，正文，以及点
阅读全文
摘要：介绍python的几个內建模块，原文链接 1 python的时间模块datetime 取现在时间 将指定日期转化为时间戳 将时间戳转化为日期 根据时间戳转化为本地时间和utc时间 将字符串转化为时间 将时间戳转化为字符串 时间加减 设置时区 获取utc时区和时间，并且转化为别的时区的时间 2命名tu
阅读全文
摘要：原文链接 ## 什么是正则表达式`正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑`## 正则表达式规则<!--more-->## 正则表达式注意问题### 数量词的贪婪模式与非贪婪
阅读全文
摘要：python多进程 进程池 启动进程，并调用命令行 队列Queue可实现两个进程间通信 python多线程 多线程访问全局变量，记得加锁 避免枷锁带来的效率衰退，可使用线程本地变量 分布式进程，用于不同机器通信，采用BaseManager，在masterprocess.py中实现如下 在另一个文件w
阅读全文
摘要：python 文件读写和序列化学习。## python文件读写`1 打开并且读取文件` `2 打开并且读取一行文件` `3 打开并以二进制形式读取文件` `4 打开并自动关闭文件` `5 读取所有行` `6 以gbk方式读取文件` `7 以追加方式写` ## python IO操作`1 String
阅读全文
摘要：最近学习了python的错误处理和几种测试方法 1 try except 可以通过try except方式捕捉异常 可以捕捉不同类型的错误，编写多个except try except同样支持else结构 某个函数调用出现异常，在上层同样可以捕获到 2 logging python 提供打日志方式输出
阅读全文
摘要：python 可以通过`type`函数创建类,也可通过type判断数据类型 type创建类格式为type('类名',(基类1,基类2...), dict(成员函数名=函数名))第一个参数为类名，第二个参数为一个tuple,如果继承的基类只有一个，要注意tuple写法(基类,),第三个参数为dict构
阅读全文