摘要:
`提示:掌握基础的Linux命令` [toc] 常用Linux命令的基本使用 小技巧 ctrl+shift+=放大终端窗口的字体显示 ctrl+ - 缩小终端窗口的字体显示 01.常用Linux基本命 命令 对应英文 作用 ls list 查看当前文件夹下的内容 pwd print work dir 阅读全文
摘要:
深夜爬取4k图片 下载流程 定义page_text函数,对第一页地址发送get请求,因为页面数据在页面源代码都能查到,所以发送get 请求就ok!,注意:要进行编码格式设置,可以去源代码查看, 定义parse_data函数,利用xpath解析图片所对应的url,以及其名字,把解析到的数据都添加到列表 阅读全文
![Python爬虫爬取彼岸网4K Picture](https://img2022.cnblogs.com/blog/2034842/202208/2034842-20220811003430596-679343285.png)
摘要:
重要知识点 - 什么是进程(process)和线程(thread) 进程是操作系统分配资源的最小单元, 线程是操作系统调度的最小单元。 一个应用程序至少包括1个进程,而1个进程包括1个或多个线程,线程的尺度更小。 每个进程在执行过程中拥有独立的内存单元,而一个线程的多个线程在执行过程中共享内存。 网 阅读全文
摘要:
|ajax请求|json数据| |--|--| |动态加载,不会显示在网页源码中|json是一种数据传输格式,本质上是对象 |实现局部更新|对象就是本地用的,而json是作为数据传输用的 将Python对象编码成JSON字符串:json.dumps(data) 解码 JSON 对象: json.lo 阅读全文
摘要:
Egon知识星球 @ 00基本概念 1. 网络通信协议 就是计算机与计算机之间进行通信的时候有一些约定 使用网络的目的: 就是为了联通多方然后进行通信用的,即把数据从以方传递给另一方 所谓的网络编程就是让在不同的电脑上的软件能够进行数据传递,即进程之间的通信。 TCP/IP是一个协议族, 2. ip 阅读全文
摘要:
(一)虚拟机环境搭建 01虚拟机概述 传统运行模式 一台计算机同时只能运行一个操作系统 ![](file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml7452\wps1.jpg) 虚拟机运行架构 vmware公司 1.寄生架构 (实验环境、测试环境) 阅读全文
摘要:
爬虫的关键是爬取网页的内容,爬取内容由分为两种形式,一种是爬取html渲染的内容,通过解析html的结构拿到内容,这种形式下爬取内容首先需要了解html的知识,才能够解析html,但通过解析html再拿到数据的方式并不是最优的,网站前后端是分离的,前端和后端的数据交互通过API接口的形式进行。通过API接口的形式获取数据比从网页上获取数据会更加高效。 阅读全文
![网络爬虫](https://img2022.cnblogs.com/blog/2034842/202208/2034842-20220811000509199-1618800654.png)
摘要:
提示:涵盖Python基础语法,掌握基础的编程能力 01、python初识 Python是一种面向对象的解释型计算机程序设计语言,由吉多.范罗苏姆开发,第一个公开发行版发布于1991年,它常被成为胶水语言,能够把其他语言制作的各种模块(尤其是C/C++),恒轻松的联结在一起。 Python优点 免费 阅读全文
![Python基础](https://img2022.cnblogs.com/blog/2034842/202208/2034842-20220811000014108-8468052.png)