语句中$表示可替换变量
如有分隔符需要替换，建议用sed，例如：sed -i 's/\t/;/g' res2.csv
hive -e "select ... from $databaseName.$tableName where ..." >> $outFileName.csv
Hive导出为csv格式到本地文件系统
#Flume# Flume日志采集框架一些知识
一、简介
1.1、介绍
Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。
Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中
一般的采集需求，通过对flume的简单配置即可实现
Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用于大部分的日常数据采集场景
1.2、运行机制
Flume分布式系统...
百度图片真实地址解密
百度图片真实地址解密，百度图片搜索真实地址解密，图片爬虫地址解密
Python版示例代码：
str_table = {
'_z2C$q': ':',
'_z&e3B': '.',
'AzdH3F': '/'
}
char_table = {
'w': 'a',
'k': 'b',
'v': 'c',
'1': 'd',
'j': 'e',
'u': 'f',
'2': 'g',
'i': 'h',
't': 'i',
'3': 'j',
'h': 'k',
's': 'l',
'4': 'm',...
新浪微博OAUTH2授权流程
新浪微博OAUTH2授权流程.
理解OAuth 2.0，推荐阅读：http://www.ruanyifeng.com/blog/2014/05/oauth_2_0.html
一、
访问：https://api.weibo.com/oauth2/authorize?client_id=你的应用APPKEY&response_type=code&redirect_uri=https://api.weibo.com/oauth2/default.html(你的应用回调地址)
返回：https://api.weibo.com/oauth2/default.html?code=a9b216e00394b82fa7c351c1ab051931
二、
访问：ht...
HDFS（hadoop）常用命令
文件操作：：：
hadoop fs
查看Hadoop HDFS支持的所有命令
hadoop fs -mkdir /tmp/input
在HDFS上新建文件夹
hadoop fs –ls
列出目录及文件信息
hadoop fs –lsr
循环列出目录、子目录及文件信息
hadoop fs –put test.txt /user/sunlightcs
将本地文件系统的test.txt复制到HDFS文件系统的/user/sunlightcs目录下
hadoop fs –get /user/sunlightcs/test.txt .
将HDFS中的test.txt复制到本地文件系统中，与-p...
DO(Digitalocean)旧金山(SFO2)
DO(Digitalocean)旧金山(SFO2)，digitalocean 旧金山2区网速测试，点我购买，送钱
digitalocean的旧金山增加了第二个机房。digitalocean是一家成立于云主机商家，采用KVM虚拟，配置高性能的SSD做储存，服务器配备的是1000M端口，拥有多个数据中心
亚洲：印度班加罗尔、新加坡；
美洲：加拿大多伦多、美国纽约3个、旧金山2个；
欧洲：荷兰阿姆斯特丹，英国伦敦、德国法兰克福
最新消息，免费一键快照备份VPS...
依旧强悍的DO(Digitalocean)旧金山(SFO)
知名IDC：Digitalocean，一系列“撒钱”之后，虽饱经风霜，依然坚挺！云主机DO，依旧适合程序员调试程序！
C/C++程序员之家调试程序，重开了DO旧金山机房，512MB主机，闲着无聊，搞了个测试，依旧强悍的DO(Digitalocean)旧金山(SFO)机房。
CPU:
DO-512-CPU
SpeedTest:
DO-512-SPEED
Disk/IO:
DO-512-DISK/IO
Unix Bench：
DO-512-RUN
点我查看，创建swap教程！
C++爬虫原理(十):Https的编程实现(SSL安全通讯)
OpenSSL是一套开放源代码的SSL套件，其函数库是以C语言所写成，实现了基本的传输层数据加密功能。此软件是以两个加拿大人Eric A. Young 和Tim J. Hudson所写的SSLeay为基础所发展的，SSLeay随着两人前往RSA公司任职而停止开发。1998年，OpenSSL项目组接管了OpenSSL的开发工作，并推出了OpenSSL的0.9.1版，到目前为止，OpenSSL的算法已经非常完善，对SSL2.0、SSL3.0以及TLS1.0都支持。
OpenSSL同时实现了客...
C++爬虫原理(九):Https和Http的区别
Https : （Hyper Text Transfer Protocol over Secure Socket Layer），是以安全为目标的HTTP通道，简单讲是HTTP的安全版。即HTTP下加入SSL层，HTTPS的安全基础是SSL，因此加密的详细内容就需要SSL。 它是一个URI scheme（抽象标识符体系），句法类同http:体系。用于安全的HTTP数据传输。https:URL表明它使用了HTTP，但HTTPS存在不同于HTTP的默认端口及一个加密/身份验证层（在HTTP与TCP之间）。这个系统的...
C++爬虫原理(八):正则知识和Boost在VS中的应用
一、正则的知识？什么是正则？正则是干什么用的？正则的应用？
请参考以下教程：正则表达式30分钟入门教程
二、正则表达式中一些常见的元字符
正则表达式 (总结 by: cplusplus.me )：
^ : 表示 行的开始，^放在[]中表示排除的意思
$ : 表示 行的结束
\b : 表示 单词定界符
\B : 表示 不能是一个完整的单词
[] : 表示 方括号内只能匹配一个字符。eg: [Tt]忽略大小写
| ： 表示 或。eg: T|t忽略大小写。 注:...