随笔分类 -  Python

摘要:前言 写博客的人一定都会有一个图床,将图片存在那里。发现自己以前没有注意图片来源问题,随手就贴在博客上面了。现在有不少图片都挂了,换句话来说有可能自己目前用的图床不提供服务了,那所有的图片都有可能丢失......所以打算写个脚本,把以前博客的图片保存下来,并在以后发博的时候注意保存本地图片。emmm 阅读全文
posted @ 2018-12-31 12:44 MrYun 阅读(382) 评论(0) 推荐(0) 编辑
摘要:前言 博客里有一篇Leetcode题解,想着要同步更新,没有思考过程,至少想把代码贴出来;结果自己很懒,并没有随声更新;但是自己一定会上传题解到github上,所以就写了一段代码将github上leetcode题解的链接爬取下来。 同步题解 这个代码不难,无非就是有正则表达式,所以不多废话,爬取部分 阅读全文
posted @ 2018-11-08 14:43 MrYun 阅读(246) 评论(0) 推荐(0) 编辑
摘要:报错信息 Warning: (1366, "Incorrect string value: '\\xD6\\xD0\\xB9\\xFA\\xB1\\xEA...' for column 'VARIABLE_VALUE' at row 518 自己遇到了这个问题,然后基本上把stackflow和所有博 阅读全文
posted @ 2018-08-20 09:30 MrYun 阅读(270) 评论(0) 推荐(0) 编辑
摘要:前言 对python的修饰器的理解一直停留在"使用修饰器把函数注册为事件的处理程序"的层次,也是一知半解;这样拖着不是办法,索性今天好好整理一下关于python修饰器的概念及用法。 介绍 装饰器是一个很著名的设计模式,经常被用于有切面需求的场景,较为经典的有插入日志、性能测试、事务处理等。装饰器是解 阅读全文
posted @ 2018-08-19 15:05 MrYun 阅读(223) 评论(0) 推荐(0) 编辑
摘要:简介 在下图中可以看到items.py与pipeline.py,其中items是用来定义抓取内容的实体;pipeline则是用来处理抓取的item的管道 Item管道的主要责任是负责处理有蜘蛛从网页中抽取的Item,他的主要任务是清晰、验证和存储数据。当页面被蜘蛛解析后,将被发送到Item管道,并经 阅读全文
posted @ 2018-05-20 22:03 MrYun 阅读(399) 评论(1) 推荐(1) 编辑
摘要:前言 安装MySQL数据库与Navicat并不算难事,关键是怎么让他们工作花费了我整整一天的时间,最终才把弄好。遇到各种各样的问题,上网看了大量博客,发现很多博客都是直接copy或者并不能非常好的解答自己遇到的问题。这里记录一下自己遇到的问题和解救方案。 关于软件 Navicat和MySQL直接在官 阅读全文
posted @ 2018-05-18 11:06 MrYun 阅读(1129) 评论(0) 推荐(0) 编辑
摘要:关于Robots协议 Robots协议也称为爬虫协议,是网络爬虫排除标准(Robots Exclusion Protocol),用来告诉爬虫和搜索引擎哪些页面可以抓取,哪些不可以抓取。因为我们如果无限制的使用爬虫爬取信息的话,且不说技术上能否突破某些网站上的发爬虫措施,如果毫无限制的进行爬取,再加上 阅读全文
posted @ 2018-04-07 15:47 MrYun 阅读(266) 评论(0) 推荐(0) 编辑
摘要:AJAX学习 AJAX=Asynchronous JavaScript and XML(异步的 JavaScript 和 XML)。通俗来说,AJAX是一种无需加载整个网页的情况下,通过在后台与服务器进行少量数据交换,更新部分网页的技术,用于创建快速动态网页的技术。 向服务器发送请求与服务器的响应 阅读全文
posted @ 2018-04-06 23:28 MrYun 阅读(272) 评论(0) 推荐(0) 编辑
摘要:Urllib库之解析链接 Urllib库里有一个parse这个模块,定义了处理URL的标准接口,实现 URL 各部分的抽取,合并以及链接转换。它支持如下协议的 URL 处理:file、ftp、gopher、hdl、http、https、imap、mailto、 mms、news、nntp、prosp 阅读全文
posted @ 2018-03-06 23:40 MrYun 阅读(261) 评论(0) 推荐(0) 编辑
摘要:Urllib发送请求 基本用法 基本的用法就是调用request库, 在编写代码之前把这些属性值填写成自己想要的参数就行了, 高级用法 将介绍“处理器“ Handler。利用它就可以处理Cookies、设置代理等任何HTTP请求中所有的事情。 首先介绍下 urllib.request 模块里的 Ba 阅读全文
posted @ 2018-03-05 21:51 MrYun 阅读(192) 评论(0) 推荐(0) 编辑
摘要:最近在啃《python核心编程(第三版)》,感觉这本书并不是特别的友好,虽然有基于python3提出的改进代码;但是整书的基准感觉还是在python2.7。所以python3的代码中还是有较多的错误;就比如第二章网络编程中: 原代码: 创建TCP服务器 TCP客户端 如果我们按照这个代码跑,pyth 阅读全文
posted @ 2018-03-03 21:32 MrYun 阅读(323) 评论(1) 推荐(1) 编辑
摘要:背景 之前写的一篇文章里 "微信自动聊天机器人" ,利用图灵网的机器人进行消息回复。但是突然想到,如果特定的某人(emmm,你懂的)发消息自己却没有看见,只是个机器人来回复的话还是不太好的。所以决定增加一些功能来解决这个问题,目前优化后的微信聊天机器人实现的功能特性为:除特定的人以外的朋友来消息,微 阅读全文
posted @ 2018-02-26 00:13 MrYun 阅读(499) 评论(0) 推荐(0) 编辑
摘要:一个python写的小爬虫项目,爬虫相关的很容易写,关键是怎么找到爬取图片的位置。 图片位置分析 首先看提取出的两个url地址:hero_list_url与hero_skin_root_url,一个是json文件、另一个是jpg文件的网络位置。接下来我来分析一下这两个目标位置是如何找到的: 打开抓包 阅读全文
posted @ 2018-02-15 21:23 MrYun 阅读(424) 评论(0) 推荐(0) 编辑
摘要:等待更新.... 依赖项 wand、ghostscript、imagemagick库 实现方法 python代码实现,同时写个脚本将程序加入到注册表内运行 项目地址 https://github.com/YunLambert/Python_MOOC/tree/master/tableWidget_C 阅读全文
posted @ 2018-02-11 02:26 MrYun 阅读(208) 评论(0) 推荐(0) 编辑
摘要:简单介绍 由于是一个项目,所以仍然是利用itchat进行实现。 itchat的功能已经足够强大了,所以实现机器人回复其实并不是非常难的事情。主要内容就是itchat自己的回复消息模块 以及 图灵机器人的接口函数。 图灵机器人的接口 首先得去 "图灵机器人官网" 免费注册一个机器人,此时我们就已经获得 阅读全文
posted @ 2018-01-28 01:12 MrYun 阅读(844) 评论(1) 推荐(0) 编辑
摘要:首先抓包或者按下F12进入浏览器开发者模式进行分析: 由这张图我们可以得出我们填写完学号和密码后post的表单包含的内容有username,password,lt,execution,eventld,rmShown。而execution,_eventId,rmShown都是常量,分别为 而lt每次都 阅读全文
posted @ 2018-01-25 01:03 MrYun 阅读(1298) 评论(0) 推荐(0) 编辑
摘要:引入 微信跳一跳的外挂程序目前已经有很多了, "神奇的战士" 的程序现在已经被优化的非常好了,自动化还是非自动化、ios还是Andriod目前都有着完整的解决方案。于是查找相关资料,最后在Andriod手机上简单实现了功能。 思路 利用adb工具对手机进行截图,将所截得的图片传送至电脑端利用matp 阅读全文
posted @ 2018-01-25 00:31 MrYun 阅读(1334) 评论(0) 推荐(0) 编辑
摘要:Python有两个著名的包管理工具easy_install.py和pip。Python2.7的安装包中自带了easy_install.py,而pip需要手动安装。而在Python3.5之后都是默认安装了pip工具。easy_insall的作用和perl中的cpan,ruby中的gem类似,都提供了在 阅读全文
posted @ 2018-01-23 13:55 MrYun 阅读(508) 评论(0) 推荐(0) 编辑
摘要:引入 之前不记得在哪里看见过有相关的教程,今天抽了空仔细研读了一下 "itchat" 的微信接口(API)。学习过程中发现目前还有 "wxpy" 这个功能更加全面的模块,刚好还有些项目没有完成,之后可能就用wxpy这个所谓的"可能是最优雅的微信API"尝试一下。 环境配置 首先安装itchat模块 阅读全文
posted @ 2018-01-22 23:11 MrYun 阅读(511) 评论(0) 推荐(0) 编辑
摘要:Re一些规则 .png) .png) 正则表达式在很多地方都是非常有用的,比如在写网络爬虫的时候,提取元素或者提取网址的时候有很大的作用。而正则表达式常用于字符串操作 字符匹配 1.元字符的完整列表: 匹配“a,b,c中的一个字符”:[abc] 或者 [a c] 2.一些常用的特殊符号 3.重复 “ 阅读全文
posted @ 2018-01-20 20:48 MrYun 阅读(156) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示