大数据 - C/C++程序员之家

kafka-python 无故停止消费

kafka-python异常环境是2副本6分区kafka主题，但是kafka-python无任何故障停止消费，导致超时触发rebalance 原因具体原因未知，调试无任何错误日志，消费过程中就那么突然停止了。。。。。解决方案换成pykafka后解决。推荐使用balance多消费者（一消费者一分区） topic.get_balanced_consumer( consumer_group='groupId', auto_commit_enable=True, auto_commi...

2018年09月14日大数据, 异常暂无评论喜欢 0 阅读 79 次阅读全文

Hive导出为csv格式到本地文件系统

语句中$表示可替换变量如有分隔符需要替换，建议用sed，例如：sed -i 's/\t/;/g' res2.csv hive -e "select ... from $databaseName.$tableName where ..." >> $outFileName.csv

2017年12月19日大数据暂无评论喜欢 0 阅读 251 次阅读全文

#Flume# Flume日志采集框架一些知识

一、简介 1.1、介绍 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中一般的采集需求，通过对flume的简单配置即可实现 Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用于大部分的日常数据采集场景 1.2、运行机制 Flume分布式系统...

2017年10月24日大数据暂无评论喜欢 0 阅读 150 次阅读全文

百度图片真实地址解密

百度图片真实地址解密，百度图片搜索真实地址解密，图片爬虫地址解密 Python版示例代码： str_table = { '_z2C$q': ':', '_z&e3B': '.', 'AzdH3F': '/' } char_table = { 'w': 'a', 'k': 'b', 'v': 'c', '1': 'd', 'j': 'e', 'u': 'f', '2': 'g', 'i': 'h', 't': 'i', '3': 'j', 'h': 'k', 's': 'l', '4': 'm',...

2017年01月12日大数据暂无评论喜欢 0 阅读 424 次阅读全文

新浪微博OAUTH2授权流程

新浪微博OAUTH2授权流程. 理解OAuth 2.0，推荐阅读：http://www.ruanyifeng.com/blog/2014/05/oauth_2_0.html 一、访问：https://api.weibo.com/oauth2/authorize?client_id=你的应用APPKEY&response_type=code&redirect_uri=https://api.weibo.com/oauth2/default.html(你的应用回调地址) 返回：https://api.weibo.com/oauth2/default.html?code=a9b216e00394b82fa7c351c1ab051931 二、访问：ht...

2017年01月04日大数据暂无评论喜欢 0 阅读 349 次阅读全文

HDFS（hadoop）常用命令

文件操作：：： hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs -mkdir /tmp/input 在HDFS上新建文件夹 hadoop fs –ls 列出目录及文件信息 hadoop fs –lsr 循环列出目录、子目录及文件信息 hadoop fs –put test.txt /user/sunlightcs 将本地文件系统的test.txt复制到HDFS文件系统的/user/sunlightcs目录下 hadoop fs –get /user/sunlightcs/test.txt . 将HDFS中的test.txt复制到本地文件系统中，与-p...

2016年09月22日大数据暂无评论喜欢 0 阅读 165 次阅读全文

DO(Digitalocean)旧金山(SFO2)

DO(Digitalocean)旧金山(SFO2)，digitalocean 旧金山2区网速测试，点我购买，送钱 digitalocean的旧金山增加了第二个机房。digitalocean是一家成立于云主机商家，采用KVM虚拟，配置高性能的SSD做储存，服务器配备的是1000M端口，拥有多个数据中心亚洲：印度班加罗尔、新加坡；美洲：加拿大多伦多、美国纽约3个、旧金山2个；欧洲：荷兰阿姆斯特丹，英国伦敦、德国法兰克福最新消息，免费一键快照备份VPS...

2016年08月19日大数据暂无评论喜欢 0 阅读 222 次阅读全文

依旧强悍的DO(Digitalocean)旧金山(SFO)

知名IDC：Digitalocean，一系列“撒钱”之后，虽饱经风霜，依然坚挺！云主机DO，依旧适合程序员调试程序！ C/C++程序员之家调试程序，重开了DO旧金山机房，512MB主机，闲着无聊，搞了个测试，依旧强悍的DO(Digitalocean)旧金山(SFO)机房。 CPU: DO-512-CPU SpeedTest: DO-512-SPEED Disk/IO: DO-512-DISK/IO Unix Bench： DO-512-RUN 点我查看，创建swap教程！

2016年03月26日大数据暂无评论喜欢 0 阅读 159 次阅读全文

C++爬虫原理(十):Https的编程实现(SSL安全通讯)

OpenSSL是一套开放源代码的SSL套件，其函数库是以C语言所写成，实现了基本的传输层数据加密功能。此软件是以两个加拿大人Eric A. Young 和Tim J. Hudson所写的SSLeay为基础所发展的，SSLeay随着两人前往RSA公司任职而停止开发。1998年，OpenSSL项目组接管了OpenSSL的开发工作，并推出了OpenSSL的0.9.1版，到目前为止，OpenSSL的算法已经非常完善，对SSL2.0、SSL3.0以及TLS1.0都支持。 OpenSSL同时实现了客...

2016年02月26日大数据暂无评论喜欢 3 阅读 2,227 次阅读全文

C++爬虫原理(九):Https和Http的区别

Https : （Hyper Text Transfer Protocol over Secure Socket Layer），是以安全为目标的HTTP通道，简单讲是HTTP的安全版。即HTTP下加入SSL层，HTTPS的安全基础是SSL，因此加密的详细内容就需要SSL。它是一个URI scheme（抽象标识符体系），句法类同http:体系。用于安全的HTTP数据传输。https:URL表明它使用了HTTP，但HTTPS存在不同于HTTP的默认端口及一个加密/身份验证层（在HTTP与TCP之间）。这个系统的...

2016年01月26日大数据暂无评论喜欢 0 阅读 1,271 次阅读全文