12 2017 档案

一篇文章了解爬虫技术现状
摘要：需求 万维网上有着无数的网页，包含着海量的信息，无孔不入、森罗万象。但很多时候，无论出于数据分析或产品需求，我们需要从某些网站，提取出我们感兴趣、有价值的内容，但是纵然是进化到21世纪的人类，依然只有两只手，一双眼，不可能去每一个网页去点去看，然后再复制粘贴。所以我们需要一种能自动获取网页内容并可以 阅读全文
posted @ 2017-12-28 22:36 都市烟火 阅读(2871) 评论(0) 推荐(0) 编辑
API开发中如何使用限速应对大规模访问
摘要：编者注：俗话说的好 “并发不够，机器来凑”，当我们面对高并发请求的时候增加机器是最简单也是最土豪的做法。不过在资源有限的情况除了去优化代码我们又该怎么办呢？今天我们请来了 @有马 同学为我们分享一下他在这方面的经验，希望能帮助到大家。 ——— 想要开发牢固的Web API只考虑安全是不够的，还有一点 阅读全文
posted @ 2017-12-10 23:37 都市烟火 阅读(427) 评论(0) 推荐(0) 编辑
高并发网站/服务常规应对方案和思路
摘要：一、并发量预估 作为后端的程序开发人员，经常听到高并发，但是高并发到底有多高？其实是没有数值定义的 但是如果在面试的过程中，或者跟别人沟通的过程中，有人提到百万级并发那么可能三种情况 他在吹牛皮 他没有用对并发这个词 他真的很NB（例如：天猫双11关联项目组的） 截至2019/11/11，支付宝双1 阅读全文
posted @ 2017-12-10 23:28 都市烟火 阅读(396) 评论(0) 推荐(0) 编辑
Node定时任务框架Agenda笔记
摘要：Agenda是类似Quarzt的轻量级持久化任务调度框架, 数据存储再mongodb上, 部署与学习十分简单.第三方开发者还为Agenda提供了一个简易的UI界面 Agenda UI. 提供简单的可视化界面. Base Agenda 将任务对象保存再mongo里面, 任务对象包含任务的name, 附 阅读全文
posted @ 2017-12-10 23:23 都市烟火 阅读(7685) 评论(0) 推荐(2) 编辑

点击右上角即可分享
微信分享提示