摘要：
package toolkit import ( "context" "gopkg.in/vansante/go-ffprobe.v2" "time" ) func GetMediaDurationByUrl(url string) float64 { ctx, cancelFn := contex 阅读全文
摘要：
之前有写过对接 kafka 的教程，kinesis 作为 aws 的 MQ 中间件，在国外公司以及使用 aws 体系的公司有非常重要的地位。 因为对比 kafka 使用 aws 提供的 kinesis 不仅可以大幅节约成本，而且可以非常方便的通过调整 shards 去平衡处理能力和费用。(shard 阅读全文
摘要：
我们遇到了一次在下午 17:30 开始到晚上 23:00 期间 MySQL 存储空间稳定下降最终导致 MySQL 可用空间使用完 可用空间监控图展示为 可以看到从 17:00 开始存储空间开始线性下降直至最后 1TB 空间被完全使用完。 当时查找问题时候的第一反应是不是有什么程序起起来周期性写入某个 阅读全文
摘要：
当我们处理 IO 密集型的任务的时候很容易相当多线程。 Python 因为 GIL 的关系我们没有办法在 CPU 密集型任务的情况下让解释器让出 CPU，但是当面对网络请求相关的任务的时候，我们却可以使用多线程切换来帮助我们节约 IO 等待时间。 Python3 之后我发现很多之前的恶心的写法现在都 阅读全文
摘要：
前言¶ 相同目标 ip 和相同目标端口下的端口数量限制¶ 相同目标 ip 不同目标端口¶ 多个目标 ip 相同目标端口¶ 多个目标 ip 不同目标端口¶ 总结¶ 参考资料¶ 前言 网上关于 net.ipv4.ip_local_port_range 的值的效果众说纷纭（下面所说的连接都假定使用的是相同 阅读全文
摘要：
周一的时候被问到了幻读的问题，之前都是看别人写的文章没有建套环境来实际操作一下。 其实很多问题不仅是要看源码，还是需要动动手，光看还是会忘记。 先说结论在忽略参数设置的情况下， MySQL 的确使用 MVCC 配合 Gap Lock 解决了 RR 隔离级别下的当前读（用 Gap Lock）和快照读（ 阅读全文
摘要：
Note: The blog post Apache Kafka Supports 200K Partitions Per Cluster contains important updates that have happened in Kafka as of version 2.0. This i 阅读全文
摘要：
Q:Using kafka-python, is it possible to read a specific range of offsets for given partition(s)?I looked through the documentation of the available co 阅读全文
摘要：
简介 这个实验要求我们使用 golang 自行实现一个支持并发和简单容错的 分布式 MR ,支持一个 master 多个 wokrer 的工作模式。 我做完实验之后去看了一下之前网上发布的一些 lab1 的作业。感觉今年是不是改版了？后来我去看了一下 2018 年的 lab1 作业，果然改版了。。。 阅读全文
摘要：
前言 打算跟着 MIT 的20年春季课程节奏一起通过4个 lab 来更加深刻和系统的来认识和实现分布式系统。我会坚持把每个学习节点和心得和笔记给记录下来。 每个 lec 之前一般要先看甩上来的论文，我之前虽然知晓大数据三驾马车论文大名，但是也从来没有仔细看过。这次花了2天认认真真看了 MapRedu 阅读全文