12 2021 档案
摘要:一、背景介绍 数据分析师每天都跟数据打交道,可能领导今天提了个需求:要看广东省21个地市近1年来每月发展量的变化趋势,而数据之前的管理较为混乱,没有规整入库,都是存放为零散的 Excel 文件。 此时,利用 Python 进行文件合并不失为一种合适的办法。 二、实操 SHOW ME THE CODE
阅读全文
摘要:一、背景介绍 User-Agent 即用户代理,简称 UA 。 它是一个特殊字符串,使得服务器能够识别客户使用的操作系统及版本、CPU类型、浏览器版本、浏览器渲染引擎、浏览器语言、浏览器插件等。 具备反爬措施的网站,通过判断 UA 的合理性,来响应请求,判断请求是否合法。 UA 的标准格式为: 浏览
阅读全文
摘要:SHOW ME THE CODE!!! 首先进行网页分析,具体操作:省略。 # -*- coding: utf-8 -*- """ Created on Fri Dec 10 16:25:59 2021 @author: Hider """ # 爬虫学习:8684公交路线 # 网站:https://
阅读全文
摘要:Pandas中数据框(DataFrame)如果有中文,to_csv保存csv文件会导致乱码。 可通过以下设置编码解决: df.to_csv(r'data.csv', index=False, encoding='utf-8-sig')
阅读全文
摘要:一、背景介绍 UUID(Universally Unique Identifier) 是通用唯一识别码。 对于所有的 UUID 它可以保证在空间和时间上的唯一性,它使通过 MAC 地址、时间戳、命名空间、随机数、伪随机数等参数来保证生成 ID 的唯一性。 拥有着固定的大小(128bit)。 它的唯一
阅读全文
摘要:pandas.assign 的作用是直接向数据框对象新增一列。 所添加的列名无需用引号括起来。 按函数生成 import pandas as pd import numpy as np df = pd.DataFrame({'Name':['A','B','C','D'], 'Age':[18,20
阅读全文
摘要:如何通过Chrome开发者工具寻找一个网站上特定数据的爬取方式。 一、查看网页源代码 在网页上右键,选择 查看网页源代码(Ctrl+U),可显示URL对应的HTML代码文本。 内容与通过代码向URL发送GET请求所得到的结果一致。 通过正则表达式、bs4、xpath等方式可以在文本内容中搜索需要的数
阅读全文