摘要：
Go函数 package main import "fmt" func main() { fmt.Println("开始") // 1 函数调用 //test() // 2 函数调用 //方式一 //a:=10 //test(a) //方式二 //test(10) // 3 函数调用 //test( 阅读全文
摘要：
Go的简介 Go 即Golang，Go是静态 强类型语言（不能做类型间的运算），是区别于解析型语言的编译型语言。 Go语言特性 跨平台的编译型语言 语法接近C语言 管道（channel），切片（slice），并发（routine） 有垃圾回收的机制 支持面向对象和面向过程的编程模式 go语言环境搭建 阅读全文
摘要：
FastAPI框架 该框架的速度(天然支持异步)比一般的django和flask要快N多倍 使用该框架需要保证python解释器版本是3.6及以上 Ps:django3.X版本也支持异步，但是它的异步功能并没有真正的实现，还有很多bug 安装 pip3 install fastapi pip3 in 阅读全文
该文被密码保护。 阅读全文
该文被密码保护。 阅读全文
摘要：
bitmap去重与布隆过滤器原理 1. bitmap去重 通过一个比特位来存一个地址，占用内存很小 2. 布隆过滤器 BloomFilter 会开辟一个m位的bitArray(位数组)，开始所有数据全部置 0 。当一个元素过来时，能过多个哈希函数（h1,h2,h3....）计算不同的在哈希值，并通过 阅读全文
摘要：
MongoDB基础知识 MongoDB是一款强大、灵活、且易于扩展的通用型数据库 1、文档是MongoDB的核心概念。文档就是键值对的一个有序集{'msg':'hello','foo':3}。类似于python中的有序字典。 需要注意的是： #1、文档中的键/值对是有序的。 #2、文档中的值不仅可以 阅读全文
摘要：
分布式爬虫 安装： pip3 install scrapy-redis 1. 修改原来的爬虫继承和start_urls from scrapy_redis.spiders import RedisSpider class CnblogsSpider(RedisSpider): #start_urls 阅读全文
摘要：
scrapy 请求传参 def parse(self, response): div_list = response.css('div.post_item') for div in div_list: item = ScrItem() dec = div.css('p.post_item_summa 阅读全文
摘要：
Scrapy 对接selenium # 在爬虫启动后，就只打开一个chrom浏览器，以后都用这单独一个浏览器来爬数据 # 1 在爬虫中创建bro对象 from selenium import webdriver bro = webdriver.Chrome() # 2 中间件中使用： from sc 阅读全文