C/C++程序员之家 | 关注cplusplus、互联网、程序员的历程–这仅是一个博客，时而无聊，时而搞些研究~

#转载# Clickhouse 常用的运维SQL

当前连接数 ch7.nauu.com :) SELECT * FROM system.metrics WHERE metric LIKE '%Connection'; SELECT * FROM system.metrics WHERE metric LIKE '%Connection' ┌─metric────────────────┬─value─┬─description─────────────────────────────────────────────────────────┐ │ TCPConnection │ 2 │ Number of connections to TCP server (clients with native interface) │ │ HTTPCon...

2021年06月07日大数据已关闭评论喜欢 0 阅读 45 次阅读全文

#转载# ClickHouse Zookeeper依赖优化

ClickHouse zk依赖优化 ClickHouse 集群严重依赖zookeeper，clickhouse集群服务会在zk上存储大量的信息，例如数据库表metadata、blocksr、replicas等信息，znode节点和数据量/数据表呈线性相关。 ClickHouse把zk当做三种服务的结合，协调服务，日志服务、数据表catalog service。同时clickhouse在启动时还会对存在本地表的schema信息和存在zk上的schema信息做校验，如果两者存在差异则启动异常。当前我们...

2021年06月07日大数据已关闭评论喜欢 1 阅读 177 次阅读全文

#转载# 甲骨文重装系统 Debian9 Debian10

甲骨文重装系统 Debian9 Debian10，转载一篇文章备用。初始系统选择Ubuntu 16或者Ubuntu 18 安装依赖 #Debian/Ubuntu: apt-get install -y xz-utils openssl gawk file #RedHat/CentOS: yum install -y xz openssl gawk file #默认账号 root ，密码为: MoeClub.org 一键安装Debian 甲骨文网络是可以自动获取到IP的所以脚本不用设置IP、网关、和子网掩码省了一步！但韩国区有个隐形的雷！...

2021年05月13日运维已关闭评论喜欢 2 阅读 48 次阅读全文

#转载# Flask超高并发，Flask多进程gevent ，Flask非gunicorn gevent多进程

Flask超高并发，Flask多进程gevent ，Flask非gunicorn gevent多进程。 Flask超高性能解决方案，Flask多进程gevent ，Flask非gunicorn gevent多进程。 Flask并发，高性能，Flask多进程gevent ，Flask非gunicorn gevent多进程。转载一篇文章，实测效果不错。转载自：https://cpp.la/439.html python多进程gevent，Flask gevent multiprocess WSGI，Flask gevent 多进程WSGI，Flask多进程gevent。题外话：F...

2020年11月24日 Python 已关闭评论喜欢 6 阅读 576 次阅读全文

Nginx反代m3u8加速流媒体

Nginx反代m3u8加速流媒体 1、安装nginx，确保开启http_sub_module替换模块（替换域名） 2、加入m3u8类型，mime.types文件中增加 application/x-mpegURL m3u8; application/vna.apple.mpegurl m3u8; video/mp2t ts; 3、加入反代规则 # 适用任何符合指定后缀的请求 location ~* \.(m3u8|ts|aac)$ { proxy_cache off; # 禁用代理缓存 expires -1; ...

2020年03月31日运维已关闭评论喜欢 15 阅读 1,188 次阅读全文

Linux命令行管理KVM虚拟机【二】

virsh操作虚拟机 virsh define vm0.xml //导入虚拟机配置 virsh create vm0.xml //临时启动虚拟机，关机后将从列表删除 virsh start vm0 //开启vm0 virsh list --all // 显示所有虚拟机状态 virsh shutdown vm0 //正常关机 virsh destroy vm0 //强制关闭（转为停止状态） virsh undefine vm1 //删除虚拟机配置 virsh dumpxml vm0 //显示虚拟机xml配置 virsh console vm0 //进入虚拟...

2020年03月23日运维已关闭评论喜欢 1 阅读 59 次阅读全文

Hive on tez的insert union 子目录的问题【使用tez，mr无法查询到数据】

Hive on tez的insert union 子目录的问题【使用tez插入，mr疫情无法查询到数据】 hive tez insert union all问题问题描述在hive中使用tez模式时，发现tez的输出结果在对应表目录中，生成了子目录，造成未配置tez的hive客户端对该表进行读取时，无法获取到数据。检查表的输出目录，在分区目录下发现了两个子目录:1和2： /user/hive/test1/20170920000000/1 /user/hive/test1/20170920000000/2 原因查看...

2020年03月10日大数据已关闭评论喜欢 1 阅读 574 次阅读全文

Docker教程总结九：(swarm节点标签与服务约束即强制指定容器节点)

Docker教程总结九：(swarm节点标签与服务约束即强制指定容器节点) 多节点 Swarm 集群下，可能节点的配置不同（比如 CPU、内存等），部署着不同类型的服务（比如 Web服务、Job服务等），当这些服务以 Service 或者 Stack 的形式部署到集群，默认情况下会随机分配到各个节点。不同类型的服务对服务器需求的资源是不同的，为了更合理的利用服务器资源，我们可能希望某些服务能够部署到指定的服务器上。另外一...

2020年02月19日运维已关闭评论喜欢 0 阅读 95 次阅读全文

mysql中utf8_bin、utf8_general_ci、utf8_general_cs编码区别

utf8_unicode_ci校对规则仅部分支持Unicode校对规则算法,一些字符还是不能支持。 utf8_unicode_ci不能完全支持组合的记号。 utf8_general_ci是一个遗留的校对规则，不支持扩展，它仅能够在字符之间进行逐个比较。这意味着utf8_general_ci校对规则进行的比较速度很快，但是与使用 utf8_unicode_ci的校对规则相比，比较正确性较差。应用上的差别对于一种语言仅当使用utf8_unicode_ci排序做的不好时，才执...

2019年07月17日数据库已关闭评论喜欢 0 阅读 111 次阅读全文

Flume Agent和Collector 的监控（Monitor)

使用Flume实时收集日志的过程中，尽管有事务机制保证数据不丢失，但仍然需要时刻关注Source、Channel、Sink之间的消息传输是否正常，比如，SouceàChannel传输了多少消息，ChannelàSink又传输了多少，两处的消息量是否偏差过大等等。 Flume为我们提供了Monitor的机制：http://flume.apache.org/FlumeUserGuide.html#monitoring 通过Reporting的方式，把过程中的Counter都打印出来。一共有4种Reporting方式，...

2019年07月02日大数据已关闭评论喜欢 1 阅读 323 次阅读全文