上一页 1 ··· 7 8 9 10 11 12 13 14 15 ··· 19 下一页
摘要: 一、目标 有道翻译网站:https://fanyi.youdao.com/ 通过有道翻译的接口,代码实现翻译功能 二、分析 当我们输入翻译内容时,会局部刷新出翻译结果 打开抓包工具,重新输入一个翻译内容,在’XHR‘下会捕获到一个ajax请求数据包 url:’https://fanyi.youdao 阅读全文
posted @ 2021-06-06 02:25 eliwang 阅读(308) 评论(0) 推荐(0) 编辑
摘要: 1、根据索引值查找字符串中的某个字符 strs = 'fmvmza[ji2984qtj[afffqr=aerjewqjgeq525fd-ijgl;ojglejqejfa' while 1: try: index = int(input('请输入查找的索引位置:')) except ValueErro 阅读全文
posted @ 2021-06-05 22:17 eliwang 阅读(70) 评论(0) 推荐(0) 编辑
摘要: 1、实现enumerate函数 def enumerate_generator(iterable): for i in range(len(iterable)): yield i,iterable[i] gen_e = enumerate_generator(['a','b','c','d']) f 阅读全文
posted @ 2021-06-05 21:36 eliwang 阅读(64) 评论(0) 推荐(0) 编辑
摘要: 一、目标 爬取梨视频-娱乐-版块下标签为‘最热’的视频,存储到本地'梨视频'目录下,视频名:视频标题.mp4 首页url:https://www.pearvideo.com/category_4 二、分析 首页可以提取到视频标题以及详情页url(部分),比如:'video_1731216',下面以该 阅读全文
posted @ 2021-06-04 19:27 eliwang 阅读(823) 评论(0) 推荐(0) 编辑
摘要: 一、目标 爬取网易新闻首页(https://news.163.com/)中(国内、国际、军事、航空)四个版块的新闻内容,并且按照格式:(网易新闻/版块名/新闻标题.txt)创建文件名,写入新闻内容 二、分析 通过对首页、各版块页、以及详情页分析发现,只有四个版块中的新闻标题是通过js动态加载获取的, 阅读全文
posted @ 2021-06-03 02:23 eliwang 阅读(947) 评论(0) 推荐(0) 编辑
摘要: scrapy不建议通过爬虫文件来发送请求下载大文件,而是通过scrapy已经封装好的管道类去执行,效率更高 管道类: from scrapy.pipelines.files import FilesPipeline # 专门用来下载文件的管道类 from scrapy.pipelines.image 阅读全文
posted @ 2021-05-31 01:00 eliwang 阅读(477) 评论(0) 推荐(0) 编辑
摘要: 一、目标网页及要求 目标网页: https://www.xuexi.cn/f997e76a890b0e5a053c57b19f468436/018d244441062d8916dd472a4c6a0a0b.html 要求: 爬取页面中的详情页文章标题、内容、发布时间、文章来源,存入本地mongodb 阅读全文
posted @ 2021-05-29 18:27 eliwang 阅读(4241) 评论(0) 推荐(0) 编辑
摘要: 一、简介 在执行某些IO密集型任务的时候,程序常常会因为等待 IO 而阻塞。为解决这一问题,可以考虑使用python中的协程异步。 从 Python 3.4 开始,Python 中加入了协程的概念,但这个版本的协程还是以生成器对象为基础的,在 Python 3.5 则增加了关键字async/awai 阅读全文
posted @ 2021-05-27 00:08 eliwang 阅读(344) 评论(0) 推荐(0) 编辑
摘要: pandas对Numpy进行了封装,简化了操作。其数据结构主要是DataFrame(类似于多维数组)和Series(类似于一维数组)。 一、安装 pip install pandas 二、引用 import pandas as pd 三、Series对象 创建 语法:pd.Series(data=N 阅读全文
posted @ 2021-05-21 16:44 eliwang 阅读(537) 评论(0) 推荐(0) 编辑
摘要: 一、Numpy介绍 NumPy是Python中科学计算的基础包,它的核心是 ndarray(多维数组)对象,简称数组。数组由同种类型的元素组成,可以通过整数元组进行索引。在Numpy中,维度称为轴(axis),轴的个数称为秩(rank).。比如[1,2,3]是一维数组,具有一个轴,由3个元素组成,即 阅读全文
posted @ 2021-05-18 00:27 eliwang 阅读(775) 评论(0) 推荐(0) 编辑
上一页 1 ··· 7 8 9 10 11 12 13 14 15 ··· 19 下一页