爬虫-Scrapy框架(一)-工具
摘要：Scrapy框架 一、前言 1、介绍 前面我们学习了基础的爬虫实现方法和selenium以及数据库，那么接下来会我们学习一个上场率非常高的爬虫框架：scrapy 2、内容 scrapy的基础概念和工作流程 scrapy入门使用 二、scrapy的概念和流程 学习目标： 了解 scrapy的概念 掌握
阅读全文
posted @
2023-11-14 16:23
I我非柠檬为何心酸I
阅读(617)
推荐(0) 编辑
爬虫-python面对对象-工具
摘要：一、面向对象基础 1、面向对象思想简介 软件编程就是将我们的思维转变成计算机能够识别语言的一个过程 什么是面向过程？ 自上而下顺序执行，逐步求精 其程序结构是按功能划分为若干个基本模块，这些模块形成一个树状结构； 各模块之间的关系尽可能简单，在功能上相对独立 每一模块内部均是由顺序、选择和循环三种基
阅读全文
posted @
2023-11-13 11:16
I我非柠檬为何心酸I
阅读(37)
推荐(0) 编辑
爬虫-redis-工具
摘要：Redis数据库 Redis 简介 Redis是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。 Redis与其他 key- value 缓存产品有以下三个特点： Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。 Redis不仅仅支
阅读全文
posted @
2023-11-13 11:13
I我非柠檬为何心酸I
阅读(26)
推荐(0) 编辑
爬虫-mysql-工具
摘要：MySQL数据库 一、MySQL数据库的介绍 1、发展史 1996年，MySQL 1.0 2008年1月16号 Sun公司收购MySQL。 2009年4月20，Oracle收购Sun公司。 MySQL是一种开放源代码的关系型数据库管理系统（RDBMS），使用最常用的数据库管理语言--结构化查询语言（
阅读全文
posted @
2023-11-09 09:07
I我非柠檬为何心酸I
阅读(34)
推荐(0) 编辑
requests-使用方法-(自研)
摘要：安装 pip install requests -i http://mirrors.aliyun.com/pypi/simple/ 直接导入使用 import requests 给抓取的网站url url = 'http://www.baidu.com' 发起请求 # 发起请求 response =
阅读全文
posted @
2023-11-03 13:51
I我非柠檬为何心酸I
阅读(133)
推荐(0) 编辑
