摘要: 文章的点赞 如果文章很火爆,点赞比较多,就会频繁的更新数据库,那么会对数据库造成比较大的压力,于是想到可以用redis来减少数据库压力,具体思路如下: 思路: 使用redis中的有序集合,以文章id为值,以点赞数为权值,然后定时将点赞数更新到mysql中 为了防止用户重复点赞,可以将该文章已点赞用户 阅读全文
posted @ 2020-04-10 12:09 鱼虫光 阅读(353) 评论(0) 推荐(0) 编辑
摘要: Docker run命令详解 命令格式:docker run [OPTIONS] IMAGE [COMMAND] [ARG...] Usage: Run a command in a new container中文意思为:通过run命令创建一个新的容器(container) 常用选项说明 -d, - 阅读全文
posted @ 2020-04-09 12:38 鱼虫光 阅读(3473) 评论(0) 推荐(0) 编辑
摘要: 爬虫url去重方法 将访问过的url保存到数据库中,然后爬取前查询校验(效率很低) 用python中的set去重,比如100000000个URL需要内存100000000*2byte*50/1024/1024/1024=9G(很占内存) URL经过MD5之后保存到set,一般一个MD5占128位=1 阅读全文
posted @ 2020-04-08 16:46 鱼虫光 阅读(155) 评论(0) 推荐(0) 编辑
摘要: OSI七层模型每一层干了什么: 物理层(二进制位=>光电信号):实际上就是布线、光纤、网卡和其它用来把两台网络通信设备连接在一起的东西,物理层是将二进制位转换为光电信号传输 数据链路层(数据帧==>二进制位):如果是讨论mac地址,交换机,网卡,驱动程序就是属于数据链路层,这一层主要是在通信实体间建 阅读全文
posted @ 2020-04-07 23:27 鱼虫光 阅读(190) 评论(0) 推荐(0) 编辑
摘要: 子网掩码与子网划分: 子网掩码:https://baike.baidu.com/item/%E5%AD%90%E7%BD%91%E6%8E%A9%E7%A0%81/100207?fr=aladdin 子网划分:https://baike.baidu.com/item/%E5%AD%90%E7%BD% 阅读全文
posted @ 2020-03-31 23:40 鱼虫光 阅读(147) 评论(0) 推荐(0) 编辑
摘要: request form data 和 payload: https://www.cnblogs.com/tugenhua0707/p/8975615.html scrapy 发送request payload请求: https://www.cnblogs.com/liangmingshen/p/1 阅读全文
posted @ 2020-03-31 23:38 鱼虫光 阅读(84) 评论(0) 推荐(0) 编辑
摘要: pycharm快捷键: https://blog.csdn.net/weixin_37292229/article/details/81737194,移动到行首尾:fn+home/end pycharm设置模板: https://jingyan.baidu.com/article/29697b91e 阅读全文
posted @ 2020-03-31 23:34 鱼虫光 阅读(104) 评论(0) 推荐(0) 编辑
摘要: 常见数据结构 线性结构:list/tuple,array/collections.namedtuple 链式结构: ,collections.deque(双端队列)- 字典结构:dict,collections.Counter/OrderedDict 集合结构:set/frozenset, 排序算法 阅读全文
posted @ 2020-03-31 23:14 鱼虫光 阅读(328) 评论(0) 推荐(0) 编辑
摘要: mysql行转列,列转行: https://blog.csdn.net/lilong329329/article/details/81664451 mysql交集并集差集: https://blog.csdn.net/shuixiou1/article/details/85988924 数据库三范式 阅读全文
posted @ 2020-03-31 23:06 鱼虫光 阅读(123) 评论(0) 推荐(0) 编辑
摘要: 1、字符函数 concat 拼接: concat(str1, '', str2) 将str1与str2两个字段用''拼接在一起 substr 截取子串: substr('hahaha',3) = 'haha' substr('hahah',1,4) = 'haha' 4为长度 upper 转换成大写 阅读全文
posted @ 2020-03-31 22:49 鱼虫光 阅读(232) 评论(0) 推荐(0) 编辑