09 2020 档案
摘要：经常会看到有些代码中使用 functools.partial 来包装一个函数，之前没有太了解它的用法，只是按照别人的代码来写，今天仔细看了一下它的用法，基本的用法还是很简单的。 functools.partial 的基本使用 假设我们有一个函数, 返回传入参数加1的结果 正常调用这个函数很简单 会输
阅读全文
摘要： 1. 前言 前面两篇文章聊到了 Python 处理 Mysql、Sqlite 数据库常用方式，本篇文章继续说另外一种比较常用的数据存储方式：Redis Redis：Remote Dictionary Server，即：远程字典服务，Redis 底层使用 C 语言编写，是一款开源的、基于内存的 N
阅读全文
摘要：python staticmethod and classmethod Though classmethod and staticmethod are quite similar, there’s a slight difference in usage for both entities: cla
阅读全文
摘要：一、基础入门 1.1什么是爬虫 爬虫(spider，又网络爬虫)，是指向网站/网络发起请求，获取资源后分析并提取有用数据的程序。 从技术层面来说就是 通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据（图片、视频） 爬到本地，进而提取自己需要的数据，存放起来使用。
阅读全文
摘要：学过java语言的童鞋都知道，java是一门面向对象语言，其基本思想就是一切皆对象。Python也是一样的，甚至Python将面向对象思想贯彻地更加彻底，因为在Python中，class本身是一个对象，class实例化出来的实例也是对象，方法函数是一个对象，甚至代码模块都是一个对象，这是java不曾
阅读全文
摘要：【一、项目背景】 豆瓣电影提供最新的电影介绍及评论包括上映影片的影讯查询及购票服务。可以记录想看、在看和看过的电影电视剧 、顺便打分、写影评。极大地方便了人们的生活。 今天以电视剧（美剧）为例，批量爬取对应的电影，写入csv文档 。用户可以通过评分，更好的选择自己想要的电影。 【二、项目目标】 获取
阅读全文
摘要：错误与异常 1、区分错误与异常 两种错误（都必须改正）：语法错误（代码不规范，格式不对或缺少符号）、逻辑错误（逻辑不通） 异常：程序运行时发生错误的信号 2、异常处理与注意事项 异常处理：程序员特意去捕捉异常，如果捕捉成功，就进入另外一段你定义的逻辑里去运行，使程序不会崩溃 注意：异常处理的逻辑应该
阅读全文
摘要：无论你是正在使用 Python 进行快速开发，还是在为 Python 桌面应用制作原生 UI ，或者是在优化现有的 Python 代码，以下这些 Python 项目都是应该使用的。 Python 凭借其易用的特点，已经被工业界和学术界广泛采用。另一方面，Python 丰富的第三方项目——库、附加
阅读全文
摘要： 对一名开发者来说最糟糕的情况，莫过于要弄清楚一个不熟悉的应用为何不工作。有时候，你甚至不知道系统运行，是否跟原始设计一致。 在线运行的应用就是黑盒子，需要被跟踪监控。最简单也最重要的方式就是记录日志。记录日志允许我们在开发软件的同时，让程序在系统运行时发出信息，这些信息对于我们和系统管理员来说都
阅读全文
摘要：在现代编程世界中，面向对象编程(OOP)语言在改变软件开发中的设计和实现模式方面发挥了进化作用。作为OOP家族的重要成员，Python在过去10年左右逐渐流行起来。与其他OOP语言一样，Python围绕大量不同的对象操作其数据，包括模块、类和函数。 如果您有任何OOP语言的编程经验，您应该知道所有对
阅读全文
摘要：新手学Python用什么编辑器比较好?工欲善其事必先利其器，选好工具学习更高效。市面上流行的编辑器众多，根据自己的需求选择适合自己。p小白可以选择pycharm配置简单功能强大使用起来省时省心，对初学者非常友好。今天主要介绍SublimeText、IDLE、VIM、PyCharm、Emacs编辑器。
阅读全文
摘要：介绍 你是不是常常想要在各大音乐网站上下载音乐？但是网站却逼迫你下载他们的应用？然而，你下载了应用，它们却逼迫你购买vip......没关系，今天我们就来用爬虫手段“制裁”这些网站！首先，就由最简单的酷狗音乐开始爬！ 功能概述 让用户输入要搜索的音乐名，然后把所有的音乐以及每一个音乐对应的信息展示给
阅读全文
摘要：首先需要先导入webdriver from selenium import webdriver webdriver支持主流的浏览器，比如说：谷歌浏览器、火狐浏览器、IE浏览器等等 然后可以创建一个webdriver对象，通过这个对象就可以通过get方法请求网站 接下来可以定义一个方法：searc
阅读全文
摘要： 1. 场景 经常有小伙伴在交流群问我，每天的早报新闻是怎么获取的？ 其实，早期使用的方案，是利用爬虫获取到一些新闻网站的标题，然后做了一些简单的数据清洗，最后利用 itchat 发送到指定的社群中。 由于爬虫面对 网站改版的不稳定性及 itchat 不安全性 ，所以放弃了这种方案 后期更改了
阅读全文
摘要：前几天小编连续写了四篇关于Python选择器的文章，分别用正则表达式、BeautifulSoup、Xpath、CSS选择器分别抓取京东网的商品信息。今天小编来给大家总结一下这四个选择器，让大家更加深刻的理解和熟悉Python选择器。 一、正则表达式 正则表达式为我们提供了抓取数据的快捷方式。虽然该正
阅读全文
摘要：在python中使用日志最常用的方式就是在控制台和文件中输出日志了,logging模块也很好的提供的相应的类,使用起来也非常方便,但是有时我们可能会有一些需求,如还需要将日志发送到远端,或者直接写入数据库,这种需求该如何实现呢? 一、StreamHandler和FileHandler 首先我们先来写
阅读全文
摘要：语言&环境 语言：继续用Python开路！ 一个迷你框架 下面以比较典型的通用爬虫为例，分析其工程要点，设计并实现一个迷你框架。架构图如下： 代码结构： config_load.py 配置文件加载 crawl_thread.py 爬取线程 mini_spider.py 主线程
阅读全文
摘要：【一、项目背景】 有道翻译作为国内最大的翻译软件之一，用户量巨大。在学习时遇到不会的英语词汇，会第一时间找翻译，有道翻译就是首选。今天教大家如何去获取有道翻译手机版的翻译接口。 image 【二、项目目标】 多国语言的翻译，可以翻译词语或者句子。 【三、涉及的库和网站】 1、网址如下： http
阅读全文
摘要：【一、项目背景】 穷游网提供原创实用的出境游旅行指南、攻略，旅行社区和问答交流平台，以及智能的旅行规划解决方案，同时提供签证、保险、机票、酒店预订、租车等在线增值服务。穷游“鼓励和帮助中国旅行者以自己的视角和方式体验世界”。 今天教大家获取穷游网的城市信息，使用Python将数据写入csv文档。
阅读全文
摘要：本文主要介绍python数字图像处理,图像简单滤波，图文并茂介绍skimage库中通过filters模块进行滤波操作，希望对您的学习有所帮助。 对图像进行滤波，可以有两种效果：一种是平滑滤波，用来抑制噪声；另一种是微分算子，可以用来检测边缘和特征提取。 skimage库中通过filters模块进行滤
阅读全文
摘要：今天给大家分享的主题是用百度的接口实现图片的文字识别。 环境和配置要求 整体是用 Python 实现，所需要使用的第三方库包括 aip 、 PIL 、 keyboard 、 pyinstaller ，如未安装，可在CMD中使用pip install Baidu-AIP/pillow/keyboa
阅读全文
摘要：借助这份对初学者友好的指南，您可以构建自己的自定义Python脚本来自动测量网站的关键速度和性能指标。 在过去的一个月中，Google宣布了许多通过关键速度和性能指标来衡量用户体验的方法。 巧合的是，我一直在努力编写一个Python脚本，该脚本使用Google PageSpeed Insight
阅读全文
摘要：Web抓取的使用正在积极增加，特别是在大型电子商务公司中，Web抓取是一种收集数据以竞争，分析竞争对手和研究新产品的方式。Web抓取是一种从网站提取信息的方法。在本篇文章中，学习如何创建基于Python的刮板。深入研究代码，看看它是如何工作的。 在当今的大数据世界中，很难跟踪正在发生的一切。对于
阅读全文
摘要： 我们先通过一个例子来了解代码中引入异常处理的原因。 执行结果 Traceback(most recent call last): File"C:/Users/Kevin/PycharmProjects/PyDemo/p1/exception_demo.py", line 4,in print
阅读全文
摘要：距离国庆中秋8天的假期没几天了，朋友圈各家大厂都开始秀自家定制的中秋月饼礼盒，假期要走亲访友的手里也少不了要提一盒月饼。 每年中秋节到，总会去姥姥那里送中秋，并买上各种各样的月饼，那个时候科技并不怎么发达，不仅没有这么多形形色色的月饼，也不知道哪些月饼卖得好? 月饼的价格分布是怎样的呢? 什么地
阅读全文
摘要：Python是一门非常简洁而优美的编程语言，在其他编程语言中需要繁琐的代码逻辑才能完成的事情，往往在Python中一行就可以解决。 这样，它不仅可以减少开发工作量，还能够大大提升可读性，避免在开发复杂逻辑过程中造成的失误。 本文，就来给大家介绍10个一行代码到底有多强大! 1. 交换变量 如
阅读全文
摘要：问题的由来 前几天，在微信公众号（Python爬虫及算法）上有个人问了笔者一个问题，如何利用爬虫来实现如下的需求，需要爬取的网页如下（网址为：https://www.wikidata.org/w/index.php?title=Special:WhatLinksHere/Q5&limit=500&f
阅读全文
摘要： 计时与性能分析 在开始优化之前，我们首先需要找到代码的哪一部分真正拖慢了整个程序。有时程序性能的瓶颈显而易见，但当你不知道瓶颈在何处时，这里有一些帮助找到性能瓶颈的办法： 注：下列程序用作演示目的，该程序计算 e 的 X 次方(摘自 Python 文档)： 最懒惰的「性能分析」 首先，最简单
阅读全文
摘要：1.无处不在的数据可视化 提到数据可视化，大家可能脑海里就会出现里各种图表、绚丽大屏、或者科幻电影里酷炫仪表。其实，日常生活里面，到处都有数据可视化的影子。 手表就是数据可视化的例子，最少只需要3个视觉元素(时针、分针和秒针)，就可以表达43200个状态。另外，水银温度计和地铁线路图，也是生活中
阅读全文
摘要：3、对请求到的数据进行处理 3、对请求到的数据进行处理【一、项目背景】 王者荣耀作为当下最火的游戏之一，里面的人物信息更是惟妙惟肖，但受到官网的限制，想下载一张高清的图片很难。（图片有版权）。 以彼岸桌面这个网站为例，爬取王者荣耀图片的信息。 【二、项目目标】 实现将获取到的图片批量下载。 【三
阅读全文
摘要：毫无疑问， print 函数是我们日常最常用的函数，无论是格式化输出还是打印中间变量进行调试，几乎没有 print 接不了的活儿。 但是上一次阿酱就差点被 print 给坑了。 坑从何来 最初是想要为自己的一个命令行小工具增加一个进度显示功能，于是用了 threading 模块来实现多线程，一个线程
阅读全文
摘要： 内置函数就是Python给你提供的, 拿来直接用的函数，比如print，input等。 截止到python版本3.6.2 ，一共提供了68个内置函数，具体如下 本文将这68个内置函数综合整理为12大类，正在学习Python基础的读者一定不要错过，建议收藏学习！ 和数字相关 1. 数据类型
阅读全文
摘要： 前言： Python有几种方法可以显示程序的输出；数据可以以人类可读的形式打印出来，或者写入文件以供将来使用。 在开发应用程式时我们往往会需要把变数进行字串格式化，也就是说把字串中的变数替换成变量值。事实上，在 Python 中有许多方式可以进行，其中最常见的有四种方式： 旧式字串格式化 新式字
阅读全文
摘要：1.前言 现在在疫情阶段，想找一份不错的工作变得更为困难，很多人会选择去网上看招聘信息。可是招聘信息有一些是错综复杂的。而且不能把全部的信息全部罗列出来，以外卖的58招聘网站来看，资料整理的不清晰。 2.项目目标 获取招聘信息，并批量把地点、 公司名、工资 、下载保存在txt文档。 3.项目
阅读全文
摘要：之前在 《流畅的 Python 》中看到一个例子比较有趣，所以整理一下通过本文分享给大家， 该案例是通过 Python 类属性创建一幅除去 大王、小王 之后的 52 张扑克牌，并实现 随机抽牌、排序、洗牌 等功能； 创建一个纸牌类 一副扑克除去大王小王之外，剩下的 52 张纸牌以花色为基准(梅花、方
阅读全文
摘要：前言 构建包的过程有些复杂，但从长远来看是值得的，尤其是可以创建属于自己的Python包。本文的目的是通过对构建一个新发行包的案例研究，让您了解需要构建什么以及如何构建python包的基础知识。 开始 首先，您肯定需要设置一个或多个内容，以便了解如何构建python包。因此，需要的东西的如下:
阅读全文
摘要：隐写术是一门关于在适当的多媒体载体中传输秘密数据的科学，例如在图像、音频和视频文件中。它的假设是，如果特征是可见的，那么攻击点就是明显的，因此这里的目标总是隐藏嵌入数据的存在。 LSB图像隐写术 LSB隐写术是一种图像隐写术技术，通过用要隐藏的信息位替换每个像素的最低有效位，将信息隐藏在图像中。
阅读全文
摘要：大家可能已经习惯了用Matplotlib和seaborn来制作不同的图表，但是今天要介绍一个非常酷的Python手绘风格的可视化包：cutecharts。 这个包可以用来生成以下几种看起来像手绘的图表，在某些场景下效果可能更好。这些可爱的图表还具有交互性和动态性。每当鼠标在图表上悬停时，数字就会
阅读全文
摘要：大多数python开发人员具有不同的核心编程语言背景，例如java，C＃或c ++。 因此，他们习惯于用艰苦的方式做事，而当它们以简单易学的Python语言被引入时，它们会误解Python的多样性和功能，并常常最终导致自己误导其失去某些细微之处。 在本文中，我将尝试解决Python程序员遇到的错误。
阅读全文
摘要：开始 在上一文中，我们保存了百度云盘的地址和提取码，但是这种分享链接很容易被屏蔽，最好的做法就是保存资源到自己的网盘，不过采集的链接有上万个，人肉保存并不现实，所以本文尝试了批量保存资源，如您还没看过上文，这里可以跳转。 爬虫学习3:搭建自己的电影资源网保姆式教学 观察请求 以下面资源链接为例：
阅读全文
摘要：在之前的自动化系列文章中，我们分别讲解过python操作Excel利器openpyxl，也讲过python操作PDF的几种方式，今天我们将通过代码讲解Python操作Word文档docx的常用方法。 安装 docx是一个非标准库，需要在命令行(终端)中使用pip即可安装 一定要注意，安装的时候是
阅读全文
摘要：/1 前言/ 在放假时 ，经常想尝试一下自己做饭，下厨房这个网址是个不错的选择。 下厨房是必选的网址之一，主要提供各种美食做法以及烹饪技巧。包含种类很多。 今天教大家去爬取下厨房的菜谱 ，保存在world文档，方便日后制作自己的小菜谱。 /2 项目目标/ 获取菜谱，并批量把菜 名、 原 料 、下 载
阅读全文
摘要：1 前言 猫眼电影是淘宝联合打造电影分类最全的电影的平台，能够第一时间告知用户，最新的电影上线时间。今天教大家获取猫眼电影的即将上映的电影详情。 2 项目目标 获取猫眼电影的即将上映的电影详情。 3 项目准备 软件：PyCharm 需要的库：requests、lxml、random、time 插件：
阅读全文
摘要：【一、项目背景】 你是否在寻找可以与高手斗图的应用？ 你是否在寻找可以自制表情的应用？你是否在寻找最全、最爆笑的表情库？ 斗图网是一个收集了成千上万的撕逼斗图表情包,在这里你可以快速找到想要的表情, 更好的“斗图”，助您成为真正的斗图终结者! 【二、项目目标】 下载表情包，保存文档。 【三、涉及的库
阅读全文
摘要：2020 国庆马上就要到了 我想今年大家在家都憋坏了 今年国庆和中秋刚好又是同一天，加起来有 8 天假 这么长的假期，当然是出去 玩玩玩！ 但是每次长假期间，你有没有想起被人山人海支配的恐惧呢？ 那么该去哪些地方呢？ 下面我用 Python 爬取了全国近 5000 个旅游景点，并结合 pyechar
阅读全文
摘要：一、前言 pixiv网站是一个以插图、漫画和小说艺术为中心的虚拟社区网站。其初衷是为全球艺术家提供一个平台，发表他们作品，并透过评级系统反映用户意见。该网站以用户投稿的原创图画为中心，辅以标签、书签、作品回应、排行榜等功能形成具有其特色的社交网络。 本文以pixiv站作为数据爬取对象，这里简称p站。
阅读全文