什么是数据分析 数据分析是将数学、统计学理论结合科学的统计分析方法（如线性回归分析、聚类分析、方差分析、时间序列分析等）对数据库中的数据、Excel数据、收集的大量数据、网页抓取的数据等进行分析，从中提取有价值的信息形成结论并进行展示的过程。数据分析的目的在于将隐藏在一大堆看似杂乱无章的数据背后的有 阅读全文
openpyxl模块处理Excel表 安装 以下命令意思是：指定D盘下的Python解释器用豆瓣的源安装openpyxl模块 D:\PycharmProjects\Study\venv\Scripts\python.exe -m pip install openpyxl -i http://pypi 阅读全文
操作下拉问题 这两篇主要是解决同一个问题：浏览器操作下拉问题 第一篇下拉显示更多内容 from selenium import webdriver from selenium.webdriver.chrome.service import Service from selenium.webdrive 阅读全文
正则就是用一些具有特殊含义的符号组合到一起（称为正则表达式）来描述字符或者字符串的方法。或者说：正则就是用来描述一类事物的规则。（在Python中）它内嵌在Python中，并通过 re 模块实现。 import re \w与\W \w匹配字母数字及下划线 re.findall('\w','hello 阅读全文
Selenium是一个用于网站应用程序自动化的工具。它可以直接运行在浏览器中，就像真正的用户在操作一样。它支持的浏览器包括IE、Mozilla Firefox、Safari、Google Chrome和Opera等，同时支持多种编程语言，如.Net、Java、Python和Ruby等。 安装 安装S 阅读全文
### selenium报错 - selenium.common.exceptions.ElementNotInteractableException: Message: element not interactable 可能是代码中没有全屏，元素没有加载全 ``` baiduweb = webdr 阅读全文
Scrapy框架爬取豆瓣图书及其详情实例 douban.py import scrapy import time from bs4 import BeautifulSoup from scrapy import Request from Scripts.ScrapyProject.items imp 阅读全文
Scrapy 框架其他方法功能集合笔记 使用Scrapy框架自带Item Pipeline下载文件和图片 使用ImagesPipeline 下载图片 1、 要下载Pillow 否则无法下载 2、item需要定义两个默认的，不能改！否则无法下载！ image_urls = scrapy.Field() 阅读全文
pymysql conn = pymysql.connect( host= dbhost, #数据库地址 port= 3306, #数据库端口号 user= 'testpymysql', #数据库账号 password='afk!cTRnDnVq*bvZ' #数据库密码 ) cursor = con 阅读全文
MongoDB 自带 JavaScript shell，允许使用命令行与 MongoDB 实例进行交互。shell 在很多场景中非常有用，包括执行管理功能、检查正在运行的实例或仅仅是探索 MongoDB。 本笔记根据《MongoDB权威指南（第3版）》整合而成 shell辅助函数对应的JavaScr 阅读全文
