03 2023 档案
摘要：会前端基础在IT行业很有帮助，无论是做爬虫数据分析，解析数据，做数据清洗都有帮助，因为我准备做数据获取过程中发现浏览器的HTML看不懂，直接影响了我的工作进度，因此直接暂停，网页结构有三个部分组成的即HTML、CSS、JS。 HTML(超文本标记语言HyperText Markup Language
阅读全文
摘要：什么是对象？ 数据和功能的结合体 什么是类？ 多个对象的结合体 类与对象之间的关系是： 对象是核心，类是为省代码 类名加括号>>>:创建对象 封装：把数据和功能封装起来 隐藏：把数据和功能隐藏起来 伪装：类里面的方法伪装成数据 python魔法方法 __init__(self, ...): 构造方法
阅读全文
摘要：一、框架介绍 Scrapy是适用于Python的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，
阅读全文
摘要：关于二分法： 二分法使用要求 待查找的数据集必须有序 二分法的缺陷 针对开头结尾的数据 查找效率很低 常见算法的原理以及伪代码 二分法、冒泡、快拍、插入、堆排、桶排、数据结构(链表 约瑟夫问题 如何链表是否成环) 现在咱有个需求查找列表中某个数据值 l1 = [12, 21, 32, 43, 56,
阅读全文
摘要：到底什么是装饰器呢？ 在不改变被装饰对象的源代码和调用方式的情况下被装饰对象添加新的的功能 装饰器并不是个新的技术 利用函数的参数、名称空间、函数名的用法、以及闭包函数的结合的结果 对修改封闭 对扩展开放 def login_auth(func_name): def inner(*args, **k
阅读全文
摘要：一听到文件操作大家肯定会第一时间想到with open哈哈哈哈，对的，因为太常用了。那么接下来咱总结一下吧！ with open('python基础.txt','r', encoding='utf-8') as f: pass # 文件操作子代码 open()里面的一些参数讲解： 第一个：需要打开的
阅读全文
摘要：首先Python八大数据类型之间可以转换，但是有时候不是通用即需要特定条件才可以转换，不过日常开发工作中正常转换就行了。 int(其他数据类型) # 其他数据类型也是如此，因此没有继续举例子了 一、字符串str username = input('pls input ur username>>>:'
阅读全文
摘要：问题 python不借助第三方异步框架如何做异步、定时、延时任务？ 回答 在Python中，可以使用标准库中的asyncio模块来实现异步任务、定时任务和延时任务。 异步任务： 使用asyncio模块中的async关键字定义协程函数，使用await关键字调用异步函数，同时使用asyncio.run(
阅读全文
摘要：一、可变类型 值变内存地址不变 二、不可变类型 值变内存地址一定变 问题： Python中可变类型和不可变类型的讲一下 回答： Python中的可变类型指的是在创建后可以修改其值的数据类型，例如列表、字典、集合等。这些类型的值可以被修改、添加或删除元素，而不会改变它们的标识符。 不可变类型是指在创建
阅读全文
摘要：什么是编程语言？ 编程语言是人类与计算机之间交流的媒介，如Python、go、Java、c语言等等。 什么是编程？ 程序员将自己的逻辑和想法用计算机能够读懂的语言写下来的过程。编程结果是产生一对文件。 Python的八大数据类型概览 1. 字符串string(用来存放文本) # 有四种表现形式 na
阅读全文
摘要：一、selenium模块介绍 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题。selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器。但是它
阅读全文
摘要：一、项目上线的架构图 项目开发完之后要在服务器上运行项目；其实原则上可以在任意计算机、任意系统上都可以上线。但是实际工作环境用Linux操作系统，在服务器(云服务器、物理服务器)上 上线。云服务器需要购买，购买云服务器就相当于购买一台实际的物理服务器。本篇文章通过云服务器上线的方式讲整个过程。 二、
阅读全文
摘要：1. 点右上角的三个点 再找设置并点进去 2. 在搜索框输入Java 往下找网站设置并点进去 3. 找到关于Java的设置点进去 4. 点击如下图框里的选项即可禁用JavaScript
阅读全文
摘要：一、使用代理 如果使用自自身IP地址访问，很有可能被封IP，以后就访问不了了 那如何解决呢？我们可以使用代理IP(代理：) 设置超时，请求参数加上timeout=时间即可 异常处理：用try except 包一下即可 上传文件：虽然爬虫没有上传文件的需求 但是后期在开发过程中需要批量上传文件，这个时
阅读全文
摘要：本篇文章主要讲bs4模块(BeautifulSoup),这个模块能做么呢？用一句话来概括的话：beautifulsoup4 从HTML或XML文件中提取数据的Python库,用它来解析爬取回来的xml。从而从网站中精准爬取自己想要的内容。 它是Python的第三方模块，因此需要下载 pip inst
阅读全文
摘要：爬虫是什么？；爬虫就是程序 >从互联网中，各个网站上，爬取数据【前提是：你能浏览的页面才能爬】，做数据清洗，保存到数据库的过程。 爬虫本质：模拟方式发送http请求、然后获取数据、再做数据清洗、最后保存到数据库 爬虫的重点：如何发送http请求？如何解析数据？ 本篇爬虫知识主要包括(不会一次性写完，
阅读全文
摘要：一、轮播图加缓存 有些知名网站首页被访问的频率很高，假设瞬间 1w个人在访问，首页的轮播图接口会执行1w次，1w次查询轮播图标的sql在执行，轮播图基本不变，首先我们给自己写的轮播图接口加缓存，我们可以用缓存数据库Redis来实现加缓存的需求 首先罗列一下文字版的逻辑，之后在代码上实现 当轮播图接口
阅读全文
摘要：一、逻辑分析 第一步：在项目根目录新建包 第二步：在使用提交异步任务的位置，导入使用即可 视图函数中使用，导入任务 任务.delay() # 提交任务 第三步：启动worker，如果有定时任务，启动beat # 启动worker celery -A celery_task worker -l inf
阅读全文
摘要：一、关于celery celery是异步任务框架 使用前提，需要下载第三方模块 pip install celery 如果是Windows系统还需要额外模块支撑 pip install evetlet 更多详细内容请看官方文档资源 Celery 官网：http://www.celeryproject
阅读全文
摘要：一、介绍Redis 1. 详细介绍 redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push
阅读全文
摘要：第一步：在发送短信平台注册账号 具体步骤戳这里 第二步：新建一个包具体文件夹目录结构如下 前提条件是要下第三方模块，具体步骤戳这里 之后我们开始封装功能 send_sms_v3 包 __init__.py # 导入给外部使用的函数 settings.py # 配置信息 sms.py # 核心：获取n
阅读全文
摘要：第一步：在Gitee上clone下来 第二步：在本机下载目录找下载好了的源码文件 第三步：装完之后，首先把路径复制下来 第四步：之后来到项目，在terminal里面先CD到C盘，再把刚刚复制的路径贴进去 之后执行dir命令，查看是否有setup.py文件 第五步：执行以下命令即可安装成功 pytho
阅读全文
摘要：第一步 点击官网 腾讯云 第二步：点击免费注册按钮会直接跳转到微信扫码登录页面，够方便了 第三步：创建签名 创建短信签名的部分需要填写个人信息，步骤很简单，我就没有截图了，如果按照要求填写基本信息的话审核通过的速度也非常快，大概一分钟内审核通过 第四步：设置模板 第五步：就开始着手，发短信了 官方提
阅读全文
摘要：1、在浏览器中搜索微信公众号，接着单击进入微信公众平台。 2、进入微信公众平台官网界面，接着单击右上角【立即注册】选项 3、进入选择注册帐号类型页面，公众号有两类： 我们选择个订阅号即可，因为我们目前的需求不多， （订阅号注册要求比较简单，只需要身份证、邮箱即可，适合个人和媒体） 4.按照基提示一步
阅读全文
摘要：一、Git多分支及远程仓库 1.Git多分支 首先要搞明白什么是多分支？ 为什么要多分支？ 接下来回答一下这两个问题吧！首先分支就是一个仓库的字库；多分支可以保证主分支的版本都是可以查看的版本、我们都在开发分支开发，开发完成，合并到主分支。 分支操作的详细步骤 第一步：分支查看 git branch
阅读全文
摘要：一、pip换源及虚拟环境 我们Python的强大之处就是有非常多的牛逼的第三方模块，后面的程序员只需要下载第三方模块，然后站在大佬们的肩膀上开发，第三方开发者，开发了第三方模块，把模块打包传到了pypi上根据名字，把这个打包好的模块下载下来了在公司中出现的情如果不能上外网 xx.whl 文件提交下好
阅读全文
摘要：一、git介绍 git代码管理软件，和git(分布式管理，服务端挂掉，本地还可以继续做版本管理，代码合并)类似的还有SVN(集成式管理，服务端挂掉就做不了版本管理，代码合并)但是几乎不怎么用，目前在行业里95%的概率用的是git，还有4.99%用的是SVN，那0.01%可能是有些小型公司不用代码管理
阅读全文
