随笔分类 - python爬虫
爬虫总结
摘要：一、数据分析的目的（利用大数据量数据分析，帮助人们做出战略决策） 二、什么是matplotlib? matplotlib: 最流行的Python底层绘图库，主要做数据可视化图表,名字取材于MATLAB，模仿MATLAB构建,能将数据进行可视化、更直观的呈现、使数据更加客观、更具说服力。 三、matp
阅读全文
摘要：最近在学习python爬虫技术，lxml模块拥有很强大的获取元素功能，但是安装时总超时报错，如下解决办法 选择好python版本→注意pip版本→下载对应lxml.whl→键入对应的字符串→bingo 1.去网站下载lxml，找到对应的版本 http://www.lfd.uci.edu/~gohlk
阅读全文
摘要：1.mongodb安装包链接 链接：https://pan.baidu.com/s/1bxZ2oV-iJEs7RoH5kN6jVg 密码：ajuj 2.配置准备，创建文件夹及文件： 目录为： \data\db \etc\mongodb.conf \logs\mongodb.logmongodb.co
阅读全文
摘要：一、爬虫的定义、爬虫的分类（通用爬虫、聚焦爬虫）、爬虫应用场景、爬虫工作原理（最后会发一个完整爬虫代码） 二、http、https的介绍、url的形式、请求方法、响应状态码 url的形式： 请求头： 常见响应状态码（可利用响应状态码判断响应状态assert response.status_code
阅读全文
摘要：一、python中的模块 模块的安装：pip install 模块名 导入模块与函数：import requests 、 from pymongo import MongoClient json模块的使用 json字符串转python数据类型：json.loads() 反之 json.dumps()
阅读全文
摘要：摘要：偶然机会接触到python语音，感觉语法简单、功能强大，刚好朋友分享了一个网课《python 爬虫与数据可视化》，于是在工作与闲暇时间学习起来，并做如下课程笔记整理，整体大概分为4个部分（1.python基础知识 2.爬虫基础知识 3.数据提取与存储 4.数据分析与可视化），入门级课程。 一、
阅读全文
