2020年8月12日
Docker部署Scrapy-redis分布式爬虫框架（整合Selenium+Headless Chrome网页渲染）
摘要： 前言 我的京东价格监控网站需要不间断爬取京东商品页面，爬虫模块我采用了Scrapy+selenium+Headless Chrome的方式进行商品信息的采集。 由于最近爬虫用的服务器到期，需要换到新服务器重新部署，所以干脆把整个模块封装入Docker，以便后续能够方便快速的进行爬虫的部署。同时，由于 阅读全文
posted @ 2020-08-12 21:18 蛮三刀酱 阅读(543) 评论(0) 推荐(0) 编辑
使用亚马逊AWS云服务器进行深度学习——免环境配置/GPU支持/Keras/TensorFlow/OpenCV
摘要： 前言 吐槽：由于科研任务，需要在云端运行一个基于神经网络的目标识别库，需要用到GPU加速。亚马逊有很多自带GPU的机器，但是环境的配置可折腾坏了，尤其是opencv，每次总会出各种各样的问题！ 无奈中，看见了Adrian Rosebrock的blog：Pre-configured Amazon AW 阅读全文
posted @ 2020-08-12 21:14 蛮三刀酱 阅读(418) 评论(0) 推荐(0) 编辑
通俗易懂的生产环境Web应用架构介绍
摘要： 前言 看见一篇非常通俗易懂且适合新手阅读的Web应用架构文章，我将其手工翻译了出来，分享给大家。 也可以去阅读英文原文，标题为，贴出链接： https://stephenmann.io/post/whats-in-a-production-web-application 英文标题为： What's 阅读全文
posted @ 2020-08-12 21:12 蛮三刀酱 阅读(307) 评论(0) 推荐(0) 编辑
2020年8月3日
阿里巴巴MySQL开源中间件Canal入门
摘要： 前言 距离上一篇文章发布又过去了两周，这次先填掉上一篇秒杀系统文章结尾处开的坑，介绍一下数据库中间件Canal的使用。 Canal用途很广，并且上手非常简单，小伙伴们在平时完成公司的需求时，很有可能会用到。 举个例子： 公司目前有多个开发人员正在开发一套服务，为了缩短调用延时，对部分接口数据加入了缓 阅读全文
posted @ 2020-08-03 22:15 蛮三刀酱 阅读(858) 评论(0) 推荐(0) 编辑
【秒杀系统】秒杀系统实战（四）| 缓存与数据库双写一致性实战
摘要： 前言 微笑挖坑，努力填坑。 ———— 已经拥有黑眼圈，但还没学会小猪老师时间管理学的蛮三刀同学 本文是秒杀系统的第四篇，我们来讨论秒杀系统中缓存热点数据的问题，进一步延伸到数据库和缓存的双写一致性问题，并且给出了实现代码。 前文回顾和文章规划 零基础上手秒杀系统（一）：防止超卖 零基础上手秒杀系统（ 阅读全文
posted @ 2020-08-03 22:12 蛮三刀酱 阅读(1124) 评论(1) 推荐(0) 编辑
【秒杀系统】秒杀系统实战（五）| 如何优雅的完成订单异步处理
摘要： 前言 我回来啦，前段时间忙得不可开交。这段时间终于能喘口气了，继续把之前挖的坑填起来。写完上一篇秒杀系统（四）：数据库与缓存双写一致性深入分析后，感觉文章深度一下子被我抬高了一些，现在构思新文章的时候，反而畏手畏脚，不敢随便写了。对于未来文章内容的想法，我写在了本文的末尾。 本文我们来聊聊秒杀系统中 阅读全文
posted @ 2020-08-03 22:09 蛮三刀酱 阅读(1092) 评论(0) 推荐(1) 编辑
【秒杀系统】零基础上手秒杀系统（三）：抢购接口隐藏 + 单用户限制频率
摘要： 前言 时光飞逝，两周过去了，是时候继续填坑了，不然又要被网友喷了。 本文是秒杀系统的第三篇，通过实际代码讲解，帮助你了解秒杀系统设计的关键点，上手实际项目。 本篇主要讲解秒杀系统中，关于抢购（下单）接口相关的单用户防刷措施，主要说两块内容： 抢购接口隐藏 单用户限制频率（单位时间内限制访问次数） 当 阅读全文
posted @ 2020-08-03 22:08 蛮三刀酱 阅读(923) 评论(0) 推荐(0) 编辑
2020年8月2日
【秒杀系统】零基础上手秒杀系统（二）：令牌桶限流 + 再谈超卖
摘要： 前言 本文是秒杀系统的第二篇，通过实际代码讲解，帮助你快速的了解秒杀系统的关键点，上手实际项目。 本篇主要讲解接口限流措施，接口限流其实定义也非常广，接口限流本身也是系统安全防护的一种措施，暂时列举这几种容易理解的： 令牌桶限流 单用户访问频率限流 抢购接口隐藏 此外，前文发出后很多同学对于乐观锁在 阅读全文
posted @ 2020-08-02 21:49 蛮三刀酱 阅读(802) 评论(0) 推荐(0) 编辑
【秒杀系统】从零开始打造简易秒杀系统（一）：防止超卖
摘要： 前言 大家好，好久不发文章了。（快一个月了- -）最近有很多学习的新知识想和大家分享，但无奈最近项目蛮忙的，很多文章写了一半搁置在了笔记里，待以后慢慢补充发布。 本文主要是通过实际代码讲解，帮助你一步步搭建一个简易的秒杀系统。从而快速的了解秒杀系统的主要难点，并且迅速上手实际项目。 我对秒杀系统文章 阅读全文
posted @ 2020-08-02 21:47 蛮三刀酱 阅读(794) 评论(2) 推荐(0) 编辑
2020年7月31日
缓存与数据库双写一致性 深度分析
摘要： 前言 微笑挖坑，努力填坑。 ———— 已经拥有黑眼圈，但还没学会小猪老师时间管理学的蛮三刀同学 我们来讨论秒杀系统中缓存热点数据的问题，进一步延伸到数据库和缓存的双写一致性问题，并且给出了实现代码。 本篇文章主要内容 缓存热点数据 为何要使用缓存 哪类数据适合缓存 缓存的利与弊 缓存和数据库双写一致 阅读全文
posted @ 2020-07-31 10:07 蛮三刀酱 阅读(1151) 评论(0) 推荐(0) 编辑