那就凑个整吧

2022年5月10日

摘要：一介绍 Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon As 阅读全文

posted @ 2022-05-10 16:55 那就凑个整吧阅读(177) 评论(0) 推荐(0) 编辑

Beautifulsoup4

摘要：一介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 的文档,Beautifu 阅读全文

posted @ 2022-05-10 16:54 那就凑个整吧阅读(29) 评论(0) 推荐(0) 编辑

selenium

摘要：一介绍 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器 from selenium 阅读全文

posted @ 2022-05-10 16:53 那就凑个整吧阅读(12) 评论(0) 推荐(0) 编辑

2022年5月6日

requests

摘要： requests介绍 #介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3） #注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后发起新的request 阅读全文

posted @ 2022-05-06 16:21 那就凑个整吧阅读(266) 评论(0) 推荐(0) 编辑

2022年5月5日

安装出现:Requirement already satisfied 的解决办法

摘要：问题： pip install 的时候报错,一大串Requirement already satisfied 解决方法如下: Step1:打开CMD输入: pip install --target=d:\python\python37\lib\site-packages urllib3 1 在" - 阅读全文

posted @ 2022-05-05 22:38 那就凑个整吧阅读(1186) 评论(0) 推荐(0) 编辑

2022年4月30日

内网穿透方案大全

摘要： 1 介绍我们写了一个网站，但是又苦于没有公网ip地址，就可以使用内网穿透，来让局域网内的机器上的，可以被外网访问到这种软件有很多：如开源的：frp、ngrok 商业的软件：花生壳(转发http需要收费6元)、神卓互联（收费）基于Python3 我们自己写一个 2 花生壳演示官网下载客户端：阅读全文

posted @ 2022-04-30 11:21 那就凑个整吧阅读(515) 评论(0) 推荐(0) 编辑

vue-core-video-player-基于vue.js的视频播放器组件

摘要：一介绍一款基于 vue.js 的轻量级的视频播放器插件插件个性化配置 i18n 服务端渲染画中画模式事件订阅易于开发移动端适配 1.1 官方文档 https://core-player.github.io/vue-core-video-player/zh/get-started.htm 阅读全文

posted @ 2022-04-30 11:14 那就凑个整吧阅读(267) 评论(0) 推荐(0) 编辑

Redis与Mysql双写一致性方案解析

摘要：一前言首先，缓存由于其高并发和高性能的特性，已经在项目中被广泛使用。在读取缓存方面，大家没啥疑问，都是按照下图的流程来进行业务操作但是在更新缓存方面，对于更新完数据库，是更新缓存呢，还是删除缓存。又或者是先删除缓存，再更新数据库，其实大家存在很大的争议本文由以下三个部分组成 1、讲解缓存更新阅读全文

posted @ 2022-04-30 11:12 那就凑个整吧阅读(67) 评论(0) 推荐(0) 编辑

分布式锁

摘要：什么是分布式锁？实现分布式锁的三种方式在很多场景中，我们为了保证数据的最终一致性，需要很多的技术方案来支持，比如分布式事务、分布式锁等。那具体什么是分布式锁，分布式锁应用在哪些业务场景、如何来实现分布式锁呢？一为什么要使用分布式锁我们在开发应用的时候，如果需要对某一个共享变量进行多线程同步访阅读全文

posted @ 2022-04-30 11:11 那就凑个整吧阅读(38) 评论(0) 推荐(0) 编辑

typing模块

摘要： python3.5以上版本，typing模块提高代码健壮性一前言 Python是一门弱类型的语言，很多时候我们可能不清楚函数参数类型或者返回值类型，很有可能导致一些类型没有指定方法，在写完代码一段时间后回过头看代码，很可能忘记了自己写的函数需要传什么参数，返回什么类型的结果，就不得不去阅读代码的阅读全文

posted @ 2022-04-30 11:10 那就凑个整吧阅读(97) 评论(0) 推荐(0) 编辑

那就凑个整吧

公告