摘要:
视频数据爬取 url:https://www.51miz.com/shipin/ 爬取当前url页面中营销日期下的几个视频数据。 找寻每个视频的播放地址: 通过观察视频详情页的页面数据,并没有发现视频的播放地址,只有一张播放图片。 打开抓包工具,点击页面的播放按钮,找到了视频的播放数据包,可以提取出 阅读全文
摘要:
肯德基 #爬取单页的数据 import requests headers = { 'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/1 阅读全文
摘要:
爬虫初始 爬虫相关介绍 什么是爬虫 就是通过编写程序,“模拟”浏览器上网,然后让其在互联网中“抓取”数据的过程。 还没有一个共同定义的概念 模拟:浏览器本身就是一个纯天然的爬虫工具。爬虫相关的操作都是模拟/基于浏览器为基础开发实现出来的。 抓取: 一种是抓取一张页面中所有的数据 一种是抓取页面中局部 阅读全文
摘要:
第1章 、Web的基本概念 软件开发的架构 目前我们了解的涉及到两个程序之间通讯的应用大致可以分为两种: 第一种是应用类:qq、微信、网盘、优酷这一类是属于需要安装的桌面应用 第二种是web类:比如百度、知乎、博客园等使用浏览器访问就可以直接使用的应用 这些应用的本质其实都是两个程序之间的通讯。 阅读全文
摘要:
函数——>工具;模块——>工具箱;包——>工具库。在工具箱里放到是类似的工具,工具库里放着各种工具箱。 函数和模块的关系:模块是用来管理函数的。 模块和包的关系:包是用来管理模块的。 如何制作模块?如何创建包? 函数的本质:是可以调用的内置或自定义的程序;模块的本质:是py文件;包的本质是:文件 阅读全文
摘要:
引言 最常用的文件存储文件格式:txt、csv 到目前为止,我们做的一切操作,都是在内存里进行的,这样会有什么问题吗?如果一旦断电或发生意外关机了,那么你辛勤的工作成果将瞬间消失。是不是感觉事还挺大的呢?现在你是否感觉你的编程技巧还缺了点什么呢?是的,我们还缺少将数据在本地文件系统进行持久化存储 阅读全文
摘要:
函数 引言 什么是函数? 前面在讲解Python数据类型的时候,我们已经接触过函数了。我们说,所谓的函数其实就是Python语言中的一种工具,基于该工具可以完成不同的具体操作。 案例:当你在野外露营的时候,如果想生火,如果你身上恰好带了打火机,则可以直接使用该工具自行完成生火操作,否则,你也可以自己 阅读全文