NEW

百度图片真实地址解密

百度图片真实地址解密
百度图片真实地址解密,百度图片搜索真实地址解密,图片爬虫地址解密 Python版示例代码: str_table = { '_z2C$q': ':', '_z&e3B': '.', 'AzdH3F': '/' } char_table = { 'w': 'a', 'k': 'b', 'v': 'c', '1': 'd', 'j': 'e', 'u': 'f', '2': 'g', 'i': 'h', 't': 'i', '3': 'j', 'h': 'k', 's': 'l', '4': 'm',...

新浪微博OAUTH2授权流程

新浪微博OAUTH2授权流程
新浪微博OAUTH2授权流程. 理解OAuth 2.0,推荐阅读:http://www.ruanyifeng.com/blog/2014/05/oauth_2_0.html 一、 访问:https://api.weibo.com/oauth2/authorize?client_id=你的应用APPKEY&response_type=code&redirect_uri=https://api.weibo.com/oauth2/default.html(你的应用回调地址) 返回:https://api.weibo.com/oauth2/default.html?code=a9b216e00394b82fa7c351c1ab051931 二、 访问:ht...

HDFS(hadoop)常用命令

HDFS(hadoop)常用命令
文件操作::: hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs -mkdir /tmp/input 在HDFS上新建文件夹 hadoop fs –ls 列出目录及文件信息 hadoop fs –lsr 循环列出目录、子目录及文件信息 hadoop fs –put test.txt /user/sunlightcs 将本地文件系统的test.txt复制到HDFS文件系统的/user/sunlightcs目录下 hadoop fs –get /user/sunlightcs/test.txt . 将HDFS中的test.txt复制到本地文件系统中,与-p...

DO(Digitalocean)旧金山(SFO2)

DO(Digitalocean)旧金山(SFO2)
DO(Digitalocean)旧金山(SFO2),digitalocean 旧金山2区网速测试,点我购买,送钱 digitalocean的旧金山增加了第二个机房。digitalocean是一家成立于云主机商家,采用KVM虚拟,配置高性能的SSD做储存,服务器配备的是1000M端口,拥有多个数据中心 亚洲:印度班加罗尔、新加坡; 美洲:加拿大多伦多、美国纽约3个、旧金山2个; 欧洲:荷兰阿姆斯特丹,英国伦敦、德国法兰克福 最新消息,免费一键快照备份VPS...

依旧强悍的DO(Digitalocean)旧金山(SFO)

依旧强悍的DO(Digitalocean)旧金山(SFO)
知名IDC:Digitalocean,一系列“撒钱”之后,虽饱经风霜,依然坚挺!云主机DO,依旧适合程序员调试程序! C/C++程序员之家调试程序,重开了DO旧金山机房,512MB主机,闲着无聊,搞了个测试,依旧强悍的DO(Digitalocean)旧金山(SFO)机房。 CPU: DO-512-CPU SpeedTest: DO-512-SPEED Disk/IO: DO-512-DISK/IO Unix Bench: DO-512-RUN 点我查看,创建swap教程!  

C++爬虫原理(十):Https的编程实现(SSL安全通讯)

C++爬虫原理(十):Https的编程实现(SSL安全通讯)
OpenSSL是一套开放源代码的SSL套件,其函数库是以C语言所写成,实现了基本的传输层数据加密功能。此软件是以两个加拿大人Eric A. Young 和Tim J. Hudson所写的SSLeay为基础所发展的,SSLeay随着两人前往RSA公司任职而停止开发。1998年,OpenSSL项目组接管了OpenSSL的开发工作,并推出了OpenSSL的0.9.1版,到目前为止,OpenSSL的算法已经非常完善,对SSL2.0、SSL3.0以及TLS1.0都支持。 OpenSSL同时实现了客...

C++爬虫原理(九):Https和Http的区别

C++爬虫原理(九):Https和Http的区别
Https : (Hyper Text Transfer Protocol over Secure Socket Layer),是以安全为目标的HTTP通道,简单讲是HTTP的安全版。即HTTP下加入SSL层,HTTPS的安全基础是SSL,因此加密的详细内容就需要SSL。 它是一个URI scheme(抽象标识符体系),句法类同http:体系。用于安全的HTTP数据传输。https:URL表明它使用了HTTP,但HTTPS存在不同于HTTP的默认端口及一个加密/身份验证层(在HTTP与TCP之间)。这个系统的...

C++爬虫原理(八):正则知识和Boost在VS中的应用

C++爬虫原理(八):正则知识和Boost在VS中的应用
一、正则的知识?什么是正则?正则是干什么用的?正则的应用? 请参考以下教程:正则表达式30分钟入门教程 二、正则表达式中一些常见的元字符 正则表达式 (总结 by: cplusplus.me ): ^ : 表示 行的开始,^放在[]中表示排除的意思 $ : 表示 行的结束 \b : 表示 单词定界符 \B : 表示 不能是一个完整的单词 [] : 表示 方括号内只能匹配一个字符。eg: [Tt]忽略大小写 | : 表示 或。eg: T|t忽略大小写。 注:...

C++爬虫原理(七):布隆过滤器和暴雪字符串哈希的思考

C++爬虫原理(七):布隆过滤器和暴雪字符串哈希的思考
结合布隆过滤器按位存储的思想,和暴雪字符串哈希算法的思想,写出适合所写程序的哈希。(主要参考,布隆过滤器) 如下: 一、首先申请约为1亿比特位的空间 = 1亿/8 字节 = 13MB,8次哈希,所以需要 8*13MB = 100MB的内存。 这里我为什么要取接近1亿的质数为哈希表大小呢?大约测试了8-9个垂直行业站点,数据量随机(几十万到千万),URL相似度存在高度相似等情况,这里有个奇怪的现象,在哈希表大小为1亿...