2019年3月8日

Python爬虫周记之案例篇——基金净值Selenium动态爬虫

摘要：在成功完成基金净值爬虫的爬虫后，简单了解爬虫的一些原理以后，心中不免产生一点困惑——为什么我们不能直接通过Request获取网页的源代码，而是通过查找相关的js文件来爬取数据呢？有时候我们在用requests抓取页面的时候，得到的结果可能和浏览器中看到的不一样：浏览器中可以看到正常显示的页面数据，阅读全文

posted @ 2019-03-08 22:09 沫浠阅读(2105) 评论(0) 推荐(0) 编辑

2019年2月15日

Python爬虫周记之案例篇——基金净值爬取（下）

摘要：在简单完成了基金净值爬取以后，我们对中间的过程可能产生了很多疑惑，即使完成了目标，也仅仅是知其然而不知其所以然，而为了以后爬虫任务的顺利进行，对爬虫过程中所涉及的原理进行掌握是十分有必要的。本文将会针对之前爬虫过程中所涉及到的几个爬虫原理进行简单的阐述。 url究竟是什么？它的构成有什么规律可循？阅读全文

posted @ 2019-02-15 23:00 沫浠阅读(3530) 评论(1) 推荐(0) 编辑

2019年1月25日

Python爬虫周记之案例篇——基金净值爬取（上）

摘要：相信很多金融类的从业者和学者都比较偏好于爬取金融类数据，比如博主我✧(≖ ◡ ≖✿) 在完成了简单的环境配置后，博主我安耐不住鸡冻的心情，打算先爬个基金数据以解手痒，顺便通过这个案例简单了解一下其中涉及到的一些爬虫原理环境 tools 1、Chrome及其developer tools 2、pyt 阅读全文

posted @ 2019-01-25 15:38 沫浠阅读(13472) 评论(0) 推荐(1) 编辑

2019年1月18日

Python爬虫周记（〇）

摘要： Python作为当下最热门的程序语言之一，已经吸引越来越多人带着好奇跨入代码的世界。对于很多工作本身并不依赖于代码，却又急需通过这些编程工具跟上智能化时代的步伐的人来说，Python无疑是很好的入门语言，然而，在迅速学会了基础的操作后，如何通过实践进行进一步的提升和应用成了很大的问题。此时，爬虫本身阅读全文

posted @ 2019-01-18 16:10 沫浠阅读(958) 评论(1) 推荐(0) 编辑

2018年1月31日

微博内容爬取

摘要：在成功获取微博用户的列表之后，我们可以对每个用户的主页内容进行爬取了环境 tools 1、chrome及其developer tools 2、python3.6 3、pycharm Python3.6中使用的库爬取字段确定首先，我们只管的浏览用户主页，点击全部微博，观察我们能获取到的信息：用阅读全文

posted @ 2018-01-31 16:23 沫浠阅读(7833) 评论(3) 推荐(0) 编辑

2018年1月20日

新浪微博搜索页用户信息爬取

摘要：在成功登陆之后，我们可以进行下一波操作了~ 接下来，我们的目的是通过输入关键字，找到相关用户，并收集用户的一些基本信息环境 tools 1、chrome及其developer tools 2、python3.6 3、pycharm Python3.6中使用的库关键词搜索我们首先在微博首页输入关阅读全文

posted @ 2018-01-20 15:32 沫浠阅读(8346) 评论(3) 推荐(0) 编辑

2018年1月15日

新浪微博模拟登录

摘要：因为项目原因，我被领导委任爬取微博用户的一些信息，而作为一个爬虫经验几乎为0的python非老司机，开始了漫长的研究之路。。。。在了解了爬虫的基本工具和著名框架scrapy后博主还是决定自己参考网上的各路大神的脚本，写一个登录脚本。。。。环境 tools 1、Chrome及其developer 阅读全文

posted @ 2018-01-15 14:57 沫浠阅读(10781) 评论(3) 推荐(0) 编辑

2017年7月2日

Python_03

摘要：本节内容集合操作文件操作字符编码与转码函数函数参数与局部变量返回值 1、集合操作集合是一个无序的，不重复的数据组合，它的主要作用如下：去重，把一个列表变成集合，就自动去重了关系测试，测试两组数据之前的交集、差集、并集等关系常用操作 s = set([3,5,9,10]) #创建一阅读全文

posted @ 2017-07-02 00:45 沫浠阅读(226) 评论(0) 推荐(0) 编辑

2017年6月19日

Python_02

摘要：本节内容列表、元组操作字符串操作字典操作 1、列表、元组操作列表列表是经常操作的数据形式之一，可以对列表对数据进行简单的增删改查等操作。定义列表通过下标访问列表中的元素，下标从0开始计数切片，取多个元素 1 >>> names = ['ZhangYang','Guyun','Xian 阅读全文

posted @ 2017-06-19 14:36 沫浠阅读(264) 评论(0) 推荐(0) 编辑

2017年6月12日

Python_01

摘要：博主上周起开始0基础自学python，每周都会更新一次自己的学习代码，请各位监督。这里用的是Python3.x，用的是Mac电脑上自带的Python 一、var篇在Unix下创建hello.py文件，输入 #!/usr/bin/env python3 # -*- coding: utf-8 -* 阅读全文

posted @ 2017-06-12 16:11 沫浠阅读(262) 评论(0) 推荐(0) 编辑