首页 > 世链号 > mrq|MRQ分布式系统worker每日任务序列
今日说币  

mrq|MRQ分布式系统worker每日任务序列

摘要:MRQ分布式系统worker每日任务序列MRQ(MRQueue)是一个应用Redis&gevent的分布式系统worker每日任务序列。MRQ是一个与众不同的每日任务序列,它一方面致力于像RQ一样简易,另一方面规定有贴近Celery的特性。
 
MRQ(MR.Queue)是一个应用Redis&gevent的分布式系统worker每日任务序列。
MRQ是一个与众不同的每日任务序列,它一方面致力于像RQ一样简易,另一方面规定有贴近Celery的特性。MRQ最开始在PricingAssistant上被开发设计,它最开始的功能分析是为了更好地考虑每日任务序列的各种各样每日任务要求(IO聚集&CPU聚集,许多 日常任务&好多个大每日任务)。
特点
编码简易:MRQ和RQ一样非常容易了解而且更非常容易拓展。
强劲的客户控制面板:具备可视性页面,能够操纵一切,包含序列中的每日任务、当前任务、worker的情况这些。
按每日任务区别的系统日志:在控制面板中独立得到 每一个每日任务的輸出系统日志。
Geventworker:IO密集式每日任务能够并行处理在同一个Unix过程中实行,以完成较大 货运量。
管理方法集成化:CPU密集式的每日任务能够根据单独命令行参数在好几个UNIX过程中间分拆。
任务管理:能够运用编码或是客户控制面板再试、再次入队和撤消每日任务等。
特性:大批量工作排长队,轻轻松松工作剖析。
非常容易配备:MRQ的每一个主要参数都能够根据命令行参数或是环境变量开展配备。
每日任务路由器:和Celery一样,每日任务能够有默认设置的序列、到期時间和ttl值。
内嵌的生产调度器:能够依照间隔时间和时间点对每日任务开展生产调度。
对策:适用串行通信或是并行处理的解决序列,另外也适用一次性或是规律性的大批量每日任务。
子序列:简易的cmd来形成好几个子序列,从worker的视角应用全自动发觉的方法。
完善的检测管理体系:界限状况例如worker终断、Redis不成功等都会一个docker器皿中检测。
进程追踪:能够调节查询每一个CPU比较敏感的每日任务在每一个进程耗费的時间。
完善的内存泄露程序调试:监控每日任务的内存泄露而且应用objgraph发觉内存泄露。


免责声明
世链财经作为开放的信息发布平台,所有资讯仅代表作者个人观点,与世链财经无关。如文章、图片、音频或视频出现侵权、违规及其他不当言论,请提供相关材料,发送到:2785592653@qq.com。
风险提示:本站所提供的资讯不代表任何投资暗示。投资有风险,入市须谨慎。
世链粉丝群:提供最新热点新闻,空投糖果、红包等福利,微信:juu3644。