请问大型系统如何进行分布式限流设计?
比如阿里、百度、腾讯是怎么做的
网友回复
单台服务器限流
1、时间间隔算法
先讨论最简单的场景,单台机器,用什么方式来限制流量?通常一个非常简单的做法,就是根据请求的时间间隔来限流。
描述如下:例如每秒100次,那我用时间戳做key, 每次请求对这个key进行自增操作,并判断这个value值是否会会大于100这个值,如果是大于,则触发限流逻辑。存在问题:
1)如果在t=0.9s~1.0s这0.1S内,收到了100次请求,不会触发限流。如果t=1.0S到1.1S内,收到100次请求,由于是一个新的时间key,也不会触发限流,那在t=0.2S到1.2S这1S时间内,则收到了200次请求,超出了限流值。
2)或者你会想到,那我把时间粒度再切分细一些,按0.1S允许10个请求。这样又会引入另一个问题。我如果在1S内,前0.9S没有请求,最后0.1S如果来100个,那就会有90个被限制,无法应对突发流量问题。2、令牌桶算法
这是网络中处理流控的一个经典算法。令牌桶算法的原理是系统会以一个恒定的速度往桶里放入令牌,而如果请求需要被处理,则需要先从桶里获取一个令牌,当桶里没有令牌可取时,则拒绝服务。
分布式服务器限流
现在把问题扩大一些来讨论。如果你的业务系统不是一台机器,会有多台机器,假设有四台机器,限流系统假设...点击查看剩余70%