节点模式
rabbtimq使用ram方式,RabbitMQ处理message的效率要高很多,ram和disc两种方式的效率比大概是3:1。所以如果在有其它 HA(高可用) 手段保障的情况下,选用 ram 方式是可以提高消息队列的工作效率的。
如果使用ram方式,RabbitMQ能够承载的访问量则取决于可用的内存数了。
RabbitMQ使用两个参数来限制使用系统的内存,避免系统被自己独占。
[{rabbit, [{vm_memory_high_watermark_paging_ratio, 0.75},{vm_memory_high_watermark, 0.4}]}]
vm_memory_high_watermark:表示RabbitMQ使用内存的上限为系统内存的40%。也可以通过absolute参数制定具体可用的内存数。当RabbitMQ使用内存超过这个限制时,RabbitMQ 将对消息的发布者进行阻塞,直到内存占用回到正常值以内。
vm_memory_high_watermark_paging_ratio:表示当RabbitMQ达到0.40.75=30%,系统将对queue中的内容启用paging机制,将message等内容换页到disk 中。
计算公式: vm_memory_high_watermark_paging_ratiovm_memory_high_watermark = %
RabbitMQ的内存使用情况可以通过rabbitmqctl status或者管理插件中的Web UI查询。
内存警告
RabbitMQ服务器在启动和执行 rabbitmqctl set_vm_memory_high_watermark 的时候会检测机器上的RAM大小,默认情况下,RabbitMQ使用内存超过40%的时候,会发出内存警告,阻塞所有发布消息的连接,一旦警告解除(例如:服务器paging消息到硬盘或者分发消息到消费者并且确认)服务会恢复正常。
默认的内存阀值是40%,注意,这并不会阻止RabbitMQ Server使用不到40%,仅仅意味着到达这个点的时候,发布者会被阻塞block,最坏的情况下,Erlang虚拟机会引起双倍的内存使用(RAM的80%),强烈建议开启操作系统的SWAP和Page files.
内存达到阀值后,发布者会被阻塞,但是消费者不会被阻塞,消费者继续消费消息,当内存降低到阀值以下后,发布者继续开始发布消息。
配置内存阀值
若定义了relative,那么absolute将会被忽略
比例相对值
vm_memory_high_watermark.relative = 0.4
内存绝对值
# 默认单位为字节
vm_memory_high_watermark.absolute = 1073741824
# 使用单位
vm_memory_high_watermark.absolute = 2GB
临时生效
rabbitmqctl set_vm_memory_high_watermark 0.4
永久生效
经典配置,可以直接配置在advanced.config配置文件中,永久有效```
[{rabbit, [{vm_memory_high_watermark_paging_ratio, 0.75},{vm_memory_high_watermark, 0.4}]}]
配置paging阀值
队列中的消息到达阀值上限之前,它会尝试将页面消息page到磁盘上以释放内存;
默认情况下:在broker达到阀值的50%时(默认内存阀值是0.4)会发生这种情况
vm_memory_high_watermark_paging_ratio = 0.5
禁用所有的发布者 设置阀值(threshold)为0,会立即出发内存警告,阻塞所有的发布连接(如果你希望禁用全局发布);
rabbitmqctl set_vm_memory_high_watermark 0
磁盘警告
磁盘警告 当可用的磁盘空间下降到配置值(最低阀值默认为48MIB,版本3.8.0)之下,会触发所有的警告,所有的生产者会被阻塞,目标是避免填充整个磁盘,这个会导致写操作的失败,导致RabbitMQ中断,为了减小填充磁盘的风险,所有进来的消息都会阻塞;但是消费者不会被阻塞,直到磁盘的可用空间升高到最低阀值之上,生产者就会继续开始推送消息。
配置磁盘阀值 低于1.0的值很危险,应谨慎使用,值为1.0代表16GIB
disk_free_limit.relative = 2.0
磁盘可用空间absolute设置,单位:字节
# 默认单位为字节
disk_free_limit.absolute = 1000000000
# 使用单位
disk_free_limit.absolute = 1GB
临时生效
rabbitmqctl set_disk_free_limit 42949672000
永久生效
经典配置,mem_relative值为1.0代表16GIB,可以直接配置在advanced.config配置文件中
[{rabbit, [{disk_free_limit, {mem_relative, 1.0}}]}]