随笔分类 - 早期个人XMind笔记搬运
摘要：Scrapy-Redis 是 Scrapy 的一个扩展，主要用于分布式爬虫开发。它通过 Redis 实现多个爬虫实例之间的任务队列共享和数据去重，使得爬虫可以在多个机器上协同工作，提高爬取效率和数据处理能力。 Scrapy-Redis 的主要特点 分布式调度：任务队列存储在 Redis 中，多个爬虫
阅读全文
摘要：Scrapy 是一个强大的 Python 网络爬虫框架，专门设计用于快速开发和管理网络爬虫程序。它提供了一套完整的工具集，使得爬取网站数据变得高效、灵活和可扩展。以下是 Scrapy 的基础介绍和使用方法： Scrapy 的基础概念 项目（Project）： Scrapy 爬虫程序的基本工作单位，包
阅读全文
摘要：MongoDB 的介绍 MongoDB 是一个开源的非关系型数据库系统，采用 C++ 编写，旨在处理大量数据存储和高吞吐量的应用程序。MongoDB 使用 JSON 风格的文档存储数据，具有高度的灵活性和性能。 主要特点： 非关系型数据库：不采用传统的关系型数据库表格模型，而是使用文档存储模型。 高
阅读全文
摘要：反爬原因 反爬（Anti-Scraping）机制是网站为防止自动化程序（爬虫）过度抓取或恶意访问而采取的保护措施。反爬的主要原因包括： 保护网站资源：大量的自动化访问会消耗服务器资源，影响正常用户的访问体验。 保护数据隐私：一些网站的数据具有商业价值，网站希望保护这些数据不被自动化程序大量获取。 防
阅读全文
摘要：selenium介绍 开发使用有头浏览器，部署使用无界面浏览器 selenium工作原理 利用浏览器原生的API，封装成一套更加面向对象的Selenium WebDriver API，直接操作浏览器页面里的元素，甚至操作浏览器本身（截屏，窗口大小，启动，关闭，安装插件，配置证书之类的） seleni
阅读全文
摘要：网络程序通信的流程： 1.通过ip地址找到网络中的设备 2.通过端口号找到对应进程的端口 3.传输数据时还需要使用传输协议（TCP），保证数据的可靠性 4.socket完成进程之间网络数据的传输 ip地址的介绍 IP地址是互联网协议地址（Internet Protocol Address）的缩写，用
阅读全文
摘要：线程的介绍 介绍：多任务除了使用进程，还可以使用线程 概念：线程是进程中执行代码的一个分支，每个执行分支要想工作执行代码需要cpu调度，也就是说线程是cpu的基本单位，每个进程至少有一个线程，而这个线程就是常说的主线程 线程的主要特性包括： 轻量级：相比进程，线程的创建和销毁所需的资源更少，因此更轻
阅读全文
摘要：编辑器vim的介绍 Vim（Vi IMproved）是一个功能强大的文本编辑器，它支持多种编程语言，并提供了大量的快捷键和插件来增强编辑效率。Vim的学习曲线较陡峭，但一旦掌握，其效率将远超其他文本编辑器。 编辑器vim的使用 Vim的使用需要熟悉其基本模式（正常模式、插入模式、命令模式等）以及常用
阅读全文
摘要：重定向 重定向也称为输出重定向，用于将命令的输出保存到目标文件。 使用方法：> 文件名 或 >> 文件名。前者会覆盖文件内容，后者会追加内容到文件。 查看文件内容命令 cat: 显示文件内容，用于查看小文件。 more 和 less: 分页查看文件内容，支持滚动浏览和搜索。 head 和 tail:
阅读全文
摘要：操作系统 操作系统是一种控制硬件并支持软件运行的计算机程序。它提供了应用程序与计算机硬件之间的接口，并管理计算机的资源。 虚拟机软件 虚拟机软件允许你在一台物理计算机上模拟出多台虚拟的计算机环境。这对于测试、开发或运行多个操作系统特别有用。 Ubuntu操作系统 Ubuntu是一种流行的Linux发
阅读全文
