python小玩家 - 博客园

Python爬虫学习，记一次抓包获取js，从js函数中取数据的过程

摘要：昨天有小伙伴找我，新浪新闻的国内新闻页，其他部分都是静态网页可以抓到，但是在左下方的最新新闻部分，不是静态网页，也没有json数据，让我帮忙抓一下。大概看了下，是js加载的，而且数据在js函数中，很有意思，就分享出来给大家一起看看！抓取目标今天我们的目标是上图红框部分，首先我们确定这部分内容不在阅读全文

posted @ 2018-09-08 00:36 python小玩家阅读(17150) 评论(0) 推荐(1) 编辑

python实战，中文自然语言处理，应用jieba库来统计文本词频

摘要：模块介绍安装：pip install jieba 即可 jieba库，主要用于中文文本内容的分词，它有3种分词方法： 1. 精确模式, 试图将句子最精确地切开，适合文本分析： 2. 全模式，把句子中所有的可以成词的词语都扫描出来，速度非常快，但是不能解决歧义； 3. 搜索引擎模式，在精确模式的基础阅读全文

posted @ 2018-08-09 08:31 python小玩家阅读(1934) 评论(0) 推荐(0) 编辑

Python学习，多进程了解一下！学爬虫不会用多进程能行吗？

摘要： python中的多线程其实并不是真正的多线程，如果想要充分地使用多核CPU的资源，在python中大部分情况需要使用多进程。Python提供了非常好用的多进程包multiprocessing，只需要定义一个函数，Python会完成其他所有事情。借助这个包，可以轻松完成从单进程到并发执行的转换本来想阅读全文

posted @ 2018-08-01 13:46 python小玩家阅读(1636) 评论(0) 推荐(1) 编辑

python简单应用！用爬虫来采集天猫所有优惠券信息，写入本地文件

摘要：今天给大家分享一个小网站的数据采集，并写到excel里面！分析网站目标网站是“小咪购”，这里有天猫所有的含有购物券的商品信息，我们今天就来抓它吧！随便找一段文字，然后点击右键查看网页源代码，看看是否存在该文字，如果存在，那么这个网页就是静态网站了！很幸运，这个网站居然是静态的。那就简单了，不阅读全文

posted @ 2018-07-24 15:31 python小玩家阅读(1051) 评论(0) 推荐(0) 编辑

python有哪些好玩的应用实现，用python爬虫做一个二维码生成器

摘要： python爬虫不止可以批量下载数据，还可以有很多有趣的应用，之前也发过很多，比如天气预报实时查询、cmd版的实时翻译、快速浏览论坛热门帖等等，这些都可以算是爬虫的另一个应用方向！ python爬虫不止可以批量下载数据，还可以有很多有趣的应用，之前也发过很多，比如天气预报实时查询、cmd版的实时翻译阅读全文

posted @ 2018-07-21 11:36 python小玩家阅读(1188) 评论(0) 推荐(0) 编辑

Python学习，给自己的代码做个合集，定制自己的桌面软件！

摘要：在学习Python的过程中，经常会写很多的练手的脚本，那么有没有想过，写到一起呢？当然了，方法有很多，比如写到web网页中，做各种跳转、写到微信中，各种回复关键字调用，还有今天和大家分享的GUI图形用户界面！构建基本框架 Python中有标准库tkinter，不需要安装即可使用！可以用来写简单的G 阅读全文

posted @ 2018-07-10 22:03 python小玩家阅读(3238) 评论(0) 推荐(1) 编辑

用python抓取“3d”彩票数据，怎么分析你说了算！

摘要：快下班了，正好准备去买彩票，就顺手写了2个脚本，一个用来下载最近的彩票数据，一个用来统计彩票数字，分享给大家！彩票数据获取并写入excel表格数据来源自己看吧~用外链通不过。。。所用库：xlwt，requests，lxml 有几点需要注意的： 1、构建列表。因为存入excel文件的时候用的是列阅读全文

posted @ 2018-07-05 10:44 python小玩家阅读(3847) 评论(0) 推荐(0) 编辑

怎么让你的代码更Pythonic?光有技巧可不行，你还需要看这些

摘要：写代码如同写文章，好的文章是反复修改出来的，代码也同样是反复的重构出来的。今天给大家分享下，怎么从一个编程学习者变为一个程序猿（程序媛）！起码不要让别人一看你的代码就知道你是个小菜鸟！我们通常写一个代码，必然会经过一个简单-难-简洁的过程，那么在重构的过程中需要注意哪些呢？我们通常写一个代码，必阅读全文

posted @ 2018-07-02 14:28 python小玩家阅读(160) 评论(0) 推荐(0) 编辑

Python学习汇总，做数据采集的一些小技巧，干货满满

摘要：学习Python也有一段时间了，在学习过程中不断的练习学到的各类知识，做的最多的还是爬虫，也就是简单的数据采集，有采集图片（这个最多了。。。），有下载电影的，也有学习相关的比如ppt模板的抓取，当然也写过类似收发邮件，自动登录论坛发帖，验证码相关操作等等！这些脚本有一个共性，都是和web相关的，总阅读全文

posted @ 2018-06-30 16:19 python小玩家阅读(557) 评论(0) 推荐(0) 编辑

Python学习，还在用正则或者bs4做爬虫吗？来试试css选择器吧

摘要：之前写的一些爬虫都是用的正则、bs4、xpath做为解析库来实现，如果你对web有所涉及，并且比较喜欢css选择器，那么就有一个更适合的解析库—— PyQuery。我们就用一个非常简单的小例子来看看css选择器做爬虫是怎么样的！安装直接pip安装即可：pip install pyquery 安装阅读全文

posted @ 2018-06-27 16:10 python小玩家阅读(689) 评论(0) 推荐(0) 编辑