任务异步化

开辟浏览器,输入地方,按下回车,打开了页面。于是一个HTTP请求(request)就由客户端发送到服务器,服务器处理请求,再次回到响应(response)内容。

我们每一日都在浏览网页,发送大大小小的请求给服务器。有时候,服务器收到了请求,会发现他也亟需给其它的服务器发送请求,恐怕服务器也急需做其余一些事务,于是最初们发送的乞请就被封堵了,也等于要等待服务器完结别的的事体。

越多的时候,服务器做的附加事情,并不须要客户端等待,这时候就可以把那几个额外的事体异步去做。从事异步职分的工具有那个。主要原理如故拍卖通报音信,针对文告音讯常常采纳是队列结构。生产和消费消息进行通讯和业务完成。

生育消费与队列

上述异步职分的兑现,可以抽象为劳动者消费模型。就好像一个餐饮店,厨神在煮饭,吃货在吃饭。若是厨神做了诸多,暂时卖不完,厨神就会休息;借使客户很多,厨子马不解鞍的困苦,客户则须要逐步等待。已毕生产者和顾客的主意用不可胜举,上面选拔Python标准库Queue写个小例子:

import random
import time
from Queue import Queue
from threading import Thread

queue = Queue(10)

class Producer(Thread):
    def run(self):
        while True:
            elem = random.randrange(9)
            queue.put(elem)
            print "厨师 {} 做了 {} 饭 --- 还剩 {} 饭没卖完".format(self.name, elem, queue.qsize())
            time.sleep(random.random())

class Consumer(Thread):
    def run(self):
        while True:
            elem = queue.get()
            print "吃货{} 吃了 {} 饭 --- 还有 {} 饭可以吃".format(self.name, elem, queue.qsize())
            time.sleep(random.random())

def main():
    for i in range(3):
        p = Producer()
        p.start()
    for i in range(2):
        c = Consumer()
        c.start()

if __name__ == '__main__':
    main()

约莫输出如下:

厨师 Thread-1 做了 1 饭 --- 还剩 1 饭没卖完
厨师 Thread-2 做了 8 饭 --- 还剩 2 饭没卖完
厨师 Thread-3 做了 3 饭 --- 还剩 3 饭没卖完
吃货Thread-4 吃了 1 饭 --- 还有 2 饭可以吃
吃货Thread-5 吃了 8 饭 --- 还有 1 饭可以吃
吃货Thread-4 吃了 3 饭 --- 还有 0 饭可以吃
厨师 Thread-1 做了 0 饭 --- 还剩 1 饭没卖完
厨师 Thread-2 做了 0 饭 --- 还剩 2 饭没卖完
厨师 Thread-1 做了 1 饭 --- 还剩 3 饭没卖完
厨师 Thread-1 做了 1 饭 --- 还剩 4 饭没卖完
吃货Thread-4 吃了 0 饭 --- 还有 3 饭可以吃
厨师 Thread-3 做了 3 饭 --- 还剩 4 饭没卖完
吃货Thread-5 吃了 0 饭 --- 还有 3 饭可以吃
吃货Thread-5 吃了 1 饭 --- 还有 2 饭可以吃
厨师 Thread-2 做了 8 饭 --- 还剩 3 饭没卖完
厨师 Thread-2 做了 8 饭 --- 还剩 4 饭没卖完

Redis 队列

Python内置了一个好用的体系结构。我们也可以是用redis落成类似的操作。并做一个大约的异步职分。

Redis提供了二种方法来作音讯队列。一个是运用生产者消费模式形式,其它一个办法就是发布订阅者模式。前者会让一个要么三个客户端监听新闻队列,一旦信息到达,消费者及时消费,何人先抢到算何人的,假使队列里没有信息,则消费者继续监听。后者也是一个或七个客户端订阅音讯频道,只要发布者揭橥音信,所有订阅者都能接到新闻,订阅者都以平等的。

生产消费格局(不提议使用)

重中之重运用了redis提供的blpop获取队列数据,借使队列没有数据则阻塞等待,也等于监听。

import redis

class Task(object):
    def __init__(self):
        self.rcon = redis.StrictRedis(host='localhost', db=5)
        self.queue = 'task:prodcons:queue'

    def listen_task(self):
        while True:
            task = self.rcon.blpop(self.queue, 0)[1]
            print "Task get", task

if __name__ == '__main__':
    print 'listen task queue'
    Task().listen_task()

使用redis的brpop格局做队列,经过一段时间,会发现先后莫明其妙的卡主。也等于经过一切ok,redis的lpush也健康,唯独brpop不再开支。该难点相当不好复现,可是接连过了一段时间就会复发。自个儿使用了高并发,高延迟,弱网络环境等形式总计复现都未遂,近年来仍然在寻觅解决方案。目测依赖redis做brokers的行列的celery也遇上相同的问题
,并且其余语言也有相近问题新能源车,,不过小编的化解方不适用。估算难点的原故是redis在拍卖brpop的时候总是长日子不适用会自动假死。后来选拔相比low的方案,每当凌晨3点左右重启一下种类服务。如今设置了更短的idle连接时间(config
set timeout 10),再观看一下是不是能复现。
不提议在云谲波诡环境使用该方案。倘若使用类似方案也遇上了难题,并且有了解决方案,希望你能联络我哈哈哈。
晋级了 redis 3.2 版本之后,运行了一个多月,近来尚无再次出出现堵塞的题目。

布告订阅方式

使用redis的pubsub效率,订阅者订阅频道,公布者发表新闻到频道了,频道就是一个音信队列。

import redis


class Task(object):

    def __init__(self):
        self.rcon = redis.StrictRedis(host='localhost', db=5)
        self.ps = self.rcon.pubsub()
        self.ps.subscribe('task:pubsub:channel')

    def listen_task(self):
        for i in self.ps.listen():
            if i['type'] == 'message':
                print "Task get", i['data']

if __name__ == '__main__':
    print 'listen task channel'
    Task().listen_task()

Flask 入口

大家独家完成了二种异步任务的后端服务,直接开行他们,就能监听redis队列或频道的音讯了。简单的测试如下:

import redis
import random
import logging
from flask import Flask, redirect

app = Flask(__name__)

rcon = redis.StrictRedis(host='localhost', db=5)
prodcons_queue = 'task:prodcons:queue'
pubsub_channel = 'task:pubsub:channel'

@app.route('/')
def index():

    html = """
<br>
<center><h3>Redis Message Queue</h3>
<br>
<a href="/prodcons">生产消费者模式</a>
<br>
<br>
<a href="/pubsub">发布订阅者模式</a>
</center>
"""
    return html


@app.route('/prodcons')
def prodcons():
    elem = random.randrange(10)
    rcon.lpush(prodcons_queue, elem)
    logging.info("lpush {} -- {}".format(prodcons_queue, elem))
    return redirect('/')

@app.route('/pubsub')
def pubsub():
    ps = rcon.pubsub()
    ps.subscribe(pubsub_channel)
    elem = random.randrange(10)
    rcon.publish(pubsub_channel, elem)
    return redirect('/')

if __name__ == '__main__':
    app.run(debug=True)

起步脚本,使用

siege -c10 -r 5 http://127.0.0.1:5000/prodcons
siege -c10 -r 5 http://127.0.0.1:5000/pubsub

可以分级在监听的脚本输入中寓目异步音信。在异步的天职中,可以实施一些耗时间的操作,当然近年来那么些做法并不知道异步的推行结果,如若急需知道异步的履行结果,可以设想规划协程义务如故应用一些工具如RQ或者celery等。

网站地图xml地图