上一页 1 ··· 21 22 23 24 25 26 27 28 29 ··· 36 下一页
摘要: 04 验证码识别 what is 验证码? 是一种区分用户是计算机还是人的公共全自动程序。验证码可以防止:恶意破解密码、刷票、论坛灌水,有效防止某个黑客对某一个特定注册用户用特定程序暴力破解方式进行不断的登陆尝试,实际上用验证码是现在很多网站通行的方式,我们利用比较简易的方式实现了这个功能。 验证码 阅读全文
posted @ 2020-04-08 17:46 hanfe1 阅读(512) 评论(0) 推荐(0) 编辑
摘要: 03 数据解析 引入 回顾requests模块实现数据爬取的流程 指定url 发起请求 获取响应数据 持久化存储 其实,在上述流程中还需要较为重要的一步,就是在持久化存储之前需要进行指定数据解析。因为大多数情况下的需求,我们都会指定去使用聚焦爬虫,也就是爬取页面中指定部分的数据值,而不是整个页面的数 阅读全文
posted @ 2020-04-08 17:41 hanfe1 阅读(1380) 评论(0) 推荐(1) 编辑
摘要: 02 requests模块 requests模块初始 引入 在python实现的网络爬虫中,用于网络请求发送的模块有两种,第一种为urllib模块,第二种为requests模块。urllib模块是一种比较古老的模块,在使用的过程中较为繁琐和不便。当requests模块出现后,就快速的代替了urlli 阅读全文
posted @ 2020-04-08 17:39 hanfe1 阅读(1332) 评论(0) 推荐(0) 编辑
摘要: 01 爬虫简介 what is 爬虫? \ 形象概念: 爬虫,即网络爬虫,大家可以理解为在网络上爬行的一直蜘蛛,互联网就比作一张大网,而爬虫便是在这张网上爬来爬去的蜘蛛咯,如果它遇到资源,那么它就会抓取下来。想抓取什么?这个由你来控制它。 \ 学术概念:爬虫就是通过编写程序 模拟 浏览器上网,让其去 阅读全文
posted @ 2020-04-08 17:38 hanfe1 阅读(1075) 评论(0) 推荐(0) 编辑
摘要: 前言:很多小伙伴对于get和post都是浅层次的理解。这篇文章将带你从通俗易懂的语言上深入的了解get和post。 一,什么是Get/Post? 在了解get和post之前,我们要先了解TCP/IP和http。简单来说,TCP/IP是网络架构,TCP/IP是五层网络架构(区分于OSI七层架构),TC 阅读全文
posted @ 2020-04-07 10:07 hanfe1 阅读(250) 评论(0) 推荐(0) 编辑
摘要: 1.scrapy简介 1.1 scrapy初识 什么是框架? 所谓的框架简单通用解释就是就是一个具有很强通用性并且集成了很多功能的项目模板,该模板可被应用在不同的项目需求中。也可被视为是一个项目的半成品。 如何学习框架? 对于刚接触编程或者初级程序员来讲,对于一个新的框架,只需要掌握该框架的作用及其 阅读全文
posted @ 2020-04-04 22:13 hanfe1 阅读(941) 评论(0) 推荐(0) 编辑
摘要: 一个问题引发的血案: 用python向redis写入数据报错: redis.exceptions.DataError: Invalid input of type: 'dict'. Convert to a byte, string or number first. 查看redis的版本: pip3 阅读全文
posted @ 2020-04-04 21:51 hanfe1 阅读(4952) 评论(2) 推荐(1) 编辑
摘要: https://www.runoob.com/redis/redis commands.html 阅读全文
posted @ 2020-04-04 17:37 hanfe1 阅读(141) 评论(0) 推荐(0) 编辑
摘要: ```python from selenium import webdriver from selenium.webdriver.common.action_chains import ActionChains from selenium.common.exceptions import UnexpectedAlertPresentException from time import sleep 阅读全文
posted @ 2020-04-03 17:23 hanfe1 阅读(2234) 评论(0) 推荐(0) 编辑
摘要: 一.urllib2方法 二、requests方法 阅读全文
posted @ 2020-04-03 11:06 hanfe1 阅读(1924) 评论(0) 推荐(0) 编辑
上一页 1 ··· 21 22 23 24 25 26 27 28 29 ··· 36 下一页