240
我爱毛绒绒~~~~~~~

合集-基础

摘要:爬虫 - Scrapy框架安装使用1网络爬虫是指在互联网上自动爬取网站内容信息的程序,也被称作网络蜘蛛或网络机器人。大型的爬虫程序被广泛应用于搜索引擎、数据挖掘等领域,个人用户或企业也可以利用爬虫收集对自身有价值的数据。 简单流程如图所示: 下载页面 一个网页的内容本质上就是一个HTML文本,爬取一个网页内容之前,首先要根据网页的UR 阅读全文
posted @ 2023-04-07 11:06 水开白 阅读(43) 评论(0) 推荐(0) 编辑
摘要:数据库 - MongoDB基础语法2MongoDB 自带 JavaScript shell,允许使用命令行与 MongoDB 实例进行交互。shell 在很多场景中非常有用,包括执行管理功能、检查正在运行的实例或仅仅是探索 MongoDB。 本笔记根据《MongoDB权威指南(第3版)》整合而成 shell辅助函数对应的JavaScr 阅读全文
posted @ 2023-05-14 18:10 水开白 阅读(15) 评论(0) 推荐(0) 编辑
摘要:数据库 - MongoDB基础知识1MongoDB 是功能强大、灵活且易于扩展的通用型数据库。它融合了二级索引、范围查询、排序、聚合以及地理空间索引等诸多特性。本章介绍 MongoDB 的主要设计决策。 MongoDB 功能强大且易于上手,本笔记介绍 MongoDB 的一些基本概念 本笔记根据《MongoDB权威指南(第3版)》整合而 阅读全文
posted @ 2023-05-13 15:04 水开白 阅读(14) 评论(0) 推荐(0) 编辑
摘要:数据库 - MongoDB安装MongoDB是一种基于分布式文件存储的数据库,旨在为Web应用提供可扩展的高性能数据存储解决方案。MongoDB是介于关系数据库和非关系数据库之间的产品,是非关系数据库中功能最丰富、最像关系数据库的数据库。 MongoDB支持的数据结构非常松散,类似于JSON的BSON格式,因此可以存储比较复杂的 阅读全文
posted @ 2023-04-30 18:28 水开白 阅读(82) 评论(0) 推荐(0) 编辑
摘要:文档数据存储### CSV数据的写入和读取 > 常用的数据存储介质有文件、关系式数据库和非关系式数据库。文本文档存储适用于具有时效性的数据,如股市行情、商品信息和排行榜信息等,这类数据具有动态变化性质,非特殊要求下,建议存放文件。python自带标准CSV模块库,不用自行安装。 ##### 写入 - 数据读取, 阅读全文
posted @ 2023-04-24 16:39 水开白 阅读(71) 评论(0) 推荐(0) 编辑
摘要:爬虫 - Scrapy框架安装使用2Scrapy 框架其他方法功能集合笔记 使用Scrapy框架自带Item Pipeline下载文件和图片 使用ImagesPipeline 下载图片 1、 要下载Pillow 否则无法下载 2、item需要定义两个默认的,不能改!否则无法下载! image_urls = scrapy.Field() 阅读全文
posted @ 2023-07-01 17:02 水开白 阅读(11) 评论(0) 推荐(0) 编辑
摘要:数据库 - MySql语句库的增删改查 增 create database testdb1; #创建数据库testdb1 create database testdb2 charset='gbk'; #创建指定编码的库testdb2 删 drop database testdb2; #删除testdb2 改 alter da 阅读全文
posted @ 2023-07-14 11:19 水开白 阅读(19) 评论(0) 推荐(0) 编辑
摘要:爬虫 - 基础类总集URL URL是什么 URL是统一资源定位符,对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示,是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的URL,它包含的信息指出文件的位置以及浏览器应该怎处理它 URL的构成 URL 遵守一种标准的语法,它由协议、主机名、域名、端口、路径、 阅读全文
posted @ 2023-07-15 14:33 水开白 阅读(14) 评论(0) 推荐(0) 编辑
摘要:K8S安装流程### 使用kubeadm搭建高可用的K8s集群 kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具。 这个工具能通过两条指令完成一个kubernetes集群的部署: ``` # 创建一个 Master 节点 $ kubeadm init # 将一个 Node 节点加入到当 阅读全文
posted @ 2023-07-18 17:22 水开白 阅读(141) 评论(0) 推荐(0) 编辑
摘要:Docker简介安装Docker的主要目标是“Build,Ship and Run Any App,Anywhere”,也就是通过对应用组件的封装、分发、部署、运行等生命周期的管理,使用户的APP(可以是一个WEB应用或数据库应用等等)及其运行环境能够做到“一次封装,到处运行”。 底层原理 Docker是怎么工作的 D 阅读全文
posted @ 2023-07-20 11:08 水开白 阅读(11) 评论(0) 推荐(0) 编辑
摘要:Docker常用命令### 帮助命令 ``` #显示docker版本 docker version #显示详细信息,比如多少镜像,多少容器 docker info #帮助命令 docker --help ``` ### 镜像命令 ``` #显示本地镜像 docker images #搜索某个镜像 docker sear 阅读全文
posted @ 2023-07-20 11:17 水开白 阅读(10) 评论(0) 推荐(0) 编辑
摘要:Docker容器数据卷## 是什么 - 数据卷存在于宿主机的文件系统中,独立于容器,和容器的生命周期是分离的。 - 数据卷可以是目录也可以是文件,容器可以利用数据卷与宿主机进行数据共享,实现了容器间的数据共享和交换。 - 容器启动初始化时,如果容器使用的镜像包含了数据,这些数据会拷贝到数据卷中。 - 容器对数据卷的修改是 阅读全文
posted @ 2023-07-20 13:35 水开白 阅读(18) 评论(0) 推荐(0) 编辑
摘要:DockerFile## 是什么 - Dockerfile是用来构建Docker镜像的构建文件,是由一系列命令和参数构成的脚本。 - 构建三步骤:1.编写Dockerfile文件 2.docker build 3.docker run ## 解析dockerfile #### Dockerfile内容基础知识 1. 每 阅读全文
posted @ 2023-07-20 13:47 水开白 阅读(18) 评论(0) 推荐(0) 编辑
摘要:爬虫 - Request库简介Requests 安装 pip install requests get请求 获取资源,通常用于读取 简单的get请求,如图所示 import requests header = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) A 阅读全文
posted @ 2023-07-30 17:52 水开白 阅读(39) 评论(0) 推荐(0) 编辑
摘要:爬虫 - Selenium简介Selenium是一个用于网站应用程序自动化的工具。它可以直接运行在浏览器中,就像真正的用户在操作一样。它支持的浏览器包括IE、Mozilla Firefox、Safari、Google Chrome和Opera等,同时支持多种编程语言,如.Net、Java、Python和Ruby等。 安装 安装S 阅读全文
posted @ 2023-08-07 16:03 水开白 阅读(73) 评论(0) 推荐(0) 编辑
摘要:Python处理Word,Excel,PDFopenpyxl模块处理Excel表 安装 以下命令意思是:指定D盘下的Python解释器用豆瓣的源安装openpyxl模块 D:\PycharmProjects\Study\venv\Scripts\python.exe -m pip install openpyxl -i http://pypi 阅读全文
posted @ 2024-02-22 17:01 水开白 阅读(48) 评论(0) 推荐(0) 编辑
摘要:数据分析 - 理论简介什么是数据分析 数据分析是将数学、统计学理论结合科学的统计分析方法(如线性回归分析、聚类分析、方差分析、时间序列分析等)对数据库中的数据、Excel数据、收集的大量数据、网页抓取的数据等进行分析,从中提取有价值的信息形成结论并进行展示的过程。数据分析的目的在于将隐藏在一大堆看似杂乱无章的数据背后的有 阅读全文
posted @ 2024-02-26 16:10 水开白 阅读(83) 评论(0) 推荐(0) 编辑
摘要:数据分析 - NumPy模块安装 pip install numpy 数组定义 数组对象ndarray NumPy 最重要的一个特点是其 N 维数组对象 ndarray,它是一系列同类型数据的集合,以 0 下标为开始进行集合中元素的索引 ndarray 对象是用于存放同类型元素的多维数组。 ndarray 中的每个元素在内存中 阅读全文
posted @ 2024-03-16 22:15 水开白 阅读(47) 评论(0) 推荐(0) 编辑
摘要:数据分析 - Pandas模块pandas是以NumPy为基础进行设计的,因此pandas不仅能与其他大多数模块兼容,而且还能借力NumPy模块强大的计算能力,因此,在数据分析中pandas和NumPy这两个模块经常是一起使用的。 为了数据分析的需要,pandas既不使用Python已有的内置数据结构,也不使用其他库的数据结构, 阅读全文
posted @ 2024-05-07 15:30 水开白 阅读(33) 评论(0) 推荐(0) 编辑
摘要:数据分析 - Matplotlib模块简介 Pyplot 是 Matplotlib 的子库,提供了和 MATLAB 类似的绘图 API。 Pyplot 是常用的绘图模块,能很方便让用户绘制 2D 图表。 Pyplot 包含一系列绘图函数的相关函数,每个函数会对当前的图像进行一些修改,例如:给图像加上标记,生新的图像,在图像中产生新的绘图 阅读全文
posted @ 2024-04-02 17:10 水开白 阅读(22) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示