C/C++程序员之家 | 关注cplusplus、互联网、程序员的历程–这仅是一个博客，时而无聊，时而搞些研究~

kafka-python 无故停止消费

kafka-python异常环境是2副本6分区kafka主题，但是kafka-python无任何故障停止消费，导致超时触发rebalance 原因具体原因未知，调试无任何错误日志，消费过程中就那么突然停止了。。。。。解决方案换成pykafka后解决。推荐使用balance多消费者（一消费者一分区） topic.get_balanced_consumer( consumer_group='groupId', auto_commit_enable=True, auto_commi...

2018年09月14日大数据, 异常暂无评论喜欢 0 阅读 236 次阅读全文

apache httpd http basic auth

网站根目录下新建.htaccess： AuthName "Welcom to xx.xx.com" AuthType Basic AuthUserFile "/home/wwwroot/xxx.xxx.com/.htpasswd" require valid-user 创建验证密码.htpasswd： htpasswd -c $filename $username

2018年09月10日运维暂无评论喜欢 0 阅读 53 次阅读全文

kafka多线程消费异常

kafka CommitFailedException rebalanced poll 问题： org.apache.kafka.clients.consumer.CommitFailedException: Commit cannot be completed since the group has already rebalanced and assigned the partitions to another member. This means that the time between subsequent calls to poll() was longer than the configured max.poll.interval.ms, which typically implies that the poll loop ...

2018年09月06日异常暂无评论喜欢 0 阅读 167 次阅读全文

python2/3 进程/线程效率对比

说明：8核CPU，requests网络请求1w次（IO密集型），测试python各版本线程和进程的效率. 结论：重型（批量）任务，由于GIL的原因，综合考虑，进程较优。 256个（进/线）程 python2 多进程模式耗时 14秒 python2 多线程模式耗时 21秒 python3 多进程模式耗时 14秒 python3 多线程模式耗时 18秒 128个（进/线）程 python2 多进程模式耗时 27秒 python2 多线程模式耗时 35秒 python3 多进程模式耗时 27...

2018年08月31日 Python 暂无评论喜欢 0 阅读 86 次阅读全文

CentOS 7 rc.local not working

修改权限 chmod +x /etc/rc.d/rc.local 开启rc-local systemctl enable rc-local systemctl start rc-local systemctl status rc-local 错误提示 /etc/rc.local 文件不存在解决方案建软链接：ln -s /etc/rc.d/rc.local /etc/rc.local 重新开启：systemctl start rc-local

2018年08月29日异常暂无评论喜欢 0 阅读 25 次阅读全文

#nginx# nginx通配符详解

nginx路径匹配符号 = 表示精确匹配 ^~ 表示uri以某个常规字符串开头,大多情况下用来匹配url路径，nginx不对url做编码，因此请求为/static/20%/aa，可以被规则^~ /static/ /aa匹配到（注意是空格）。 ~ 正则匹配(区分大小写) ~* 正则匹配(不区分大小写) !~和!~*分别为区分大小写不匹配及不区分大小写不匹配的正则 / 任何请求都会匹配符号的优先级首先匹配 =，其次匹配^~, 其次是按文件中顺序的正则匹配...

2018年08月23日运维暂无评论喜欢 0 阅读 85 次阅读全文

/bin/bash^M: bad interpreter

问题 windows下保存了shell脚本文件，上传到linux并执行，错误提示：/bin/bash^M: bad interprete 原因该脚本被转换成Windows下的dos文本格式了，这样的格式每一行的末尾都是以\r\n来标识，它的ASCII码分别是0x0D，0x0A。如果你将这个脚本文件直接放到Linux上执行就会报/bin/bash^M: bad interpreter错误提示。解决 vim编辑文件 :set ff? 命令检查一下，看看是不是dos字样，如果是dos格式的，继续执行 :s...

2018年08月14日异常暂无评论喜欢 0 阅读 41 次阅读全文

公有云debian系开启密码与root用户登陆

1、sudo su 2、vim /etc/ssh/sshd_config # 找到PermitRootLogin和PasswordAuthentication PermitRootLogin yes //改为yes PasswordAuthentication yes //改为yes 3、/etc/init.d/ssh restart 4、passwd root 修改root密码， 5、ssh root 登陆即可

2018年07月27日运维暂无评论喜欢 0 阅读 33 次阅读全文

#转载# Visual Studio和Sublime Text全系列激活码

VS2012 Microsoft Visual Studio Ultimate 2012 旗舰版有效注册密钥： YKCW6-BPFPF-BT8C9-7DCTH-QXGWC Microsoft Visual Studio Premium 2012 高级版有效注册密钥： MH2FR-BC9R2-84433-47M63-KQVWC Microsoft Visual Studio Professional 2012 专业版有效注册密钥： 4D974-9QX42-9Y43G-YJ7JG-JDYBP VS2013 Visual Studio Ultimate 2013 旗舰版 KEY（密钥）：BWG7X-J98B3-W34RT-33B3R-JVYW9 Visu...

2018年06月25日推荐资源暂无评论喜欢 1 阅读 111 次阅读全文

#转载# 文件写入mysql数据库，mysql数据库存储文件

文件写入mysql数据库，mysql数据库存储文件 fancyMySQL-花式玩转数据库，文件写入数据库，mysql数据库当网盘。python二进制写入mysql。项目地址： https://github.com/cppla/fancyMySQL 使用帮助： 1、修改fancyMySQL.py中的数据库配置信息，创建media表 CREATE TABLE `media` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(128) DEFAULT '', `chunkID` int(11) NOT NULL, `file` ...

2018年04月23日数据库暂无评论喜欢 0 阅读 141 次阅读全文