摘要： 前言 本来打算做一个关于微博粉丝列表的爬虫，可以统计一下某个微博账号的粉丝里面，僵尸粉（水军）的数量，大V数量。 结果写完爬虫才发现，现在微博只给人看粉丝列表的前5页.......哈哈，好吧。挺无奈的，淘宝那边也是只展示前100页的评论。 爬虫代码 直接上爬虫代码 这个url是孙俪的微博账号 下面是 阅读全文

摘要： 前言 由于工作需要，要利用某软件去采集数据，做重复的动作大概500多次。所以想写一个程序代替人，去点击和输入。 一开始的思路有两个：1、用Python或者windows对此软件直接操作。2、利用Python模拟鼠标和键盘操作，模拟人工去操作此软件。 第一种想法比较难实现，因为首先是没有此软件的接口， 阅读全文

摘要： 问题： 在某一文件夹内有97个sql文件，全部都以统一格式命名，例如“A201222-广州李小龙纪念协会-1-广州李小龙纪念协会-2018.AUD” 由于有两段重复了，而且中间的“1”也没有意义，需要删掉，保留为“A201222-广州李小龙纪念协会-2018.AUD” 因为工作上的原因，之后还继续会 阅读全文

摘要： 零、前言 一直想做一个python数据分析的案例，临近情人节，打算做一个关于冈本安全套商品的数据分析，给广大的情人送个福利。 使用软件：python、mysql 一、数据获取 这里主要分为3步： 1、数据库建表 2、利用爬虫从天猫爬取评论信息 3、将爬取到的信息存入数据库内 1、数据库建表： 部分商 阅读全文

摘要： 一、前言 关于Python的xlrd、xlwt模块的使用，推介另一位博客主的博文：https://www.cnblogs.com/zhoujie/p/python18.html 这篇里面有详细介绍这两个模块的基本用法。 以下是关于我运用xlrd、xlwt模块的一个实例。需求如下： 需求是用宏去做的， 阅读全文

摘要： 引用文章：https://www.cnblogs.com/Albert-Lee/p/6238866.html Selenium是一个自动化测试框架。因为它能够模拟人工操作，比如能在浏览器中点击按钮、在输入框中输入文本、自动填充表单、还能进行浏览器窗口的切换、对弹出窗口进行操作。也就是说你能手动做的东 阅读全文

摘要： 引用文段：链接：https://www.jianshu.com/p/0254391918f7 网页渲染可分为服务端渲染和客户端渲染，前者是指你在浏览器地址栏输入一个网址，Web服务器处理请求过程就将所有需要呈现的html元素都构造好了，浏览器收到响应就直接render出页面，客户端工作量少；后者是指 阅读全文

摘要： 这个是针对千图网里面，搜索“街拍”弹出的结果进行一个爬虫编写。纯粹是为了练习，只爬15张图没什么必要写爬虫，手动都下载完了。 下面写一下这个爬虫的一些关键点： 一、图片URL所在位置：包含在属性class是lazy的IMG标签内，data-original内。 二、图片的URL需要进行文本处理，有些 阅读全文

摘要： 连接MySQL 注意端口号port需要按照my.ini里面的设置去填写 增删改： 阅读全文

摘要： 在cdm中：直接，pip install scrapy 有可能让你升级一下pip先，就输入这个：python -m pip install --upgrade pip 当它报错的话，看看它是缺了什么，少啥补啥（我的是Python3.6.6，安装scrapy的时候报错，缺了twisted），注意选对P 阅读全文