A-A+

kafka-python 无故停止消费

2018年09月14日 大数据, 异常 暂无评论 阅读 24 次

kafka-python异常

环境是2副本6分区kafka主题,但是kafka-python无任何故障停止消费,导致超时触发rebalance

原因

具体原因未知,调试无任何错误日志,消费过程中就那么突然停止了。。。。。

解决方案

换成pykafka后解决。推荐使用balance多消费者(一消费者一分区)

topic.get_balanced_consumer(
            consumer_group='groupId',
            auto_commit_enable=True,
            auto_commit_interval_ms=5000,
            heartbeat_interval_ms=9000,
            managed=True
        )

 

标签:

给我留言

Copyright © C/C++程序员之家 保留所有权利.   Theme  Ality 浙ICP备15011757号-3

用户登录