其他 | C/C++程序员之家

C++爬虫原理(五):编码和解码URL_UTF-8

C++爬虫原理(五):编码和解码URL，UTF-8方式，网上大多数是ansi方式的编码，即：UTF-8,UrlEncode编码/UrlDecode解码：一个CString版的代码如下（项目需要随手写了一个）： CString CTestDlg::URLEncode(CString str) { int len = MultiByteToWideChar(CP_ACP,0,str.GetBuffer(0),-1,NULL,0); str.ReleaseBuffer(); wchar_t *unicode = new wchar_t[len]; MultiByteToWideChar(CP_ACP,0,str.GetBuf...

2015年08月15日大数据已关闭评论喜欢 0 阅读 644 次阅读全文

Hyper-V虚拟机差异磁盘克隆系统

Hyper-V虚拟机差异磁盘克隆系统 1、首先去掉模板的SID值，这里用2003来举例，在2003的安装盘中拷贝这个两个文件到桌面或者C盘 2、执行其中的sysprep.exe文件，如图等关机之后在把VHD磁盘拷贝到另外位置，这个拷贝的文件就是你差异磁盘的文件 3、在Hyper-V服务器上面选择新建磁盘，在新建磁盘类型中选择差异 4、在指定名称和位置这里写上你名称和位置 5、给查差异磁...

2015年08月01日其他已关闭评论喜欢 0 阅读 387 次阅读全文

C++爬虫原理(四):组包Chunked网页数据

One、about HTTP chunked+gzip Chunked transfer encoding allows a server to maintain an HTTP persistent connection for dynamically generated content. In this case the HTTP Content-Length header cannot be used to delimit the content and the next HTTP request/response, as the content size is as yet unknown. Chunked encoding has the benefit that it is not necessary to generate ...

2015年07月14日大数据已关闭评论喜欢 5 阅读 1,231 次阅读全文

C++爬虫原理(三):解压Gzip网页数据

Http 1.1中支持Gzip压缩，可以非常极大的节约带宽，Gzip解压不同与zip压缩，不要使用uncompress了。一开始搞错了，用的开源zip库的，闭门造车了。。。。 #ifndef GZIP_H #define GZIP_H #include "zlib/zlib.h" /* Compress gzip data */ /* data 原数据 ndata 原数据长度 zdata 压缩后数据 nzdata 压缩后长度 */ int gzcompress(Bytef *data, uLong ndata, Bytef *zdata, uLon...

2015年07月07日大数据已关闭评论喜欢 6 阅读 2,113 次阅读全文

Mysql C Api常用函数以及说明

函数描述 mysql_affected_rows() 返回上次UPDATE、DELETE或INSERT查询更改／删除／插入的行数。 mysql_autocommit() 切换 autocommit模式，ON/OFF mysql_change_user() 更改打开连接上的用户和数据库。 mysql_charset_name() 返回用于连接的默认字符集的名称。 mysql_close() 关闭服务器连接。 mysql_commit() 提交事务。 mysql_connect() 连接到MySQL服务器。该函数已不再被重视，使用 mysql_real_co...

2015年05月21日数据库已关闭评论喜欢 1 阅读 380 次阅读全文

C++爬虫原理(二):读取URL策略

C++爬虫原理：C++爬虫原理(一):爬虫简介 C++爬虫原理：C++爬虫原理(二):读取URL策略以下介绍读取URL的策略，也就是网页有限抓取方式：网页的抓取策略可以分为深度优先、广度优先和最佳优先三种。深度优先在很多情况下会导致爬虫的陷入(trapped)问题，目前常见的是广度优先和最佳优先方法。在这里，聚焦爬虫推荐使用广度优先搜索，定向覆盖。广度优先搜索广度优先搜索策略是指在抓取过程中，在完成当前...

2015年05月04日大数据已关闭评论喜欢 0 阅读 1,208 次阅读全文

C++爬虫原理(一):爬虫简介

爬虫简介：爬虫的主要目的是将互联网上的网页下载到本地，然后通过一系列的数据分析算法等提取有效信息(这也就类似与数据分析)。然而关于c++的爬虫很少（据说python做爬虫有很大的优势，所以本人也一直努力在学），这几篇就总结一下自己对c++爬虫的理解，沉淀自己的思想。其实所有的爬虫原理大概都是一样的，然才识疏浅，或许有许多自己不知道。可能理解有误，摸索前进中，希望大牛支出纰漏之处... 爬虫...

2015年02月24日大数据已关闭评论喜欢 4 阅读 1,999 次阅读全文

Mysql大数据处理与优化

Mysql大数据处理与优化：遇到一个问题，服务器端是Mysql数据库。某张表中有将近2000W条记录，现在表中有大量冗余数据需要剔除掉(Version update, Data garbage)，如果处理这2000W条记录呢？一、一次性取出数据（Select * from table）肯定不行，数据量太大会导致内存溢出。于是就分批取出数据。 [cpp]select * from table where...limit pos,size [/cpp] pos为记录开始的index，size为多少条记录。思考：...

2015年01月18日大数据已关闭评论喜欢 0 阅读 316 次阅读全文

青云(QingCloud)评测

这是C/C++程序员之家对青云的一篇评测，因为最近工作是C++服务器编程，有机会接触了好多“云主机”。评测主机的配置如下：CPU：1核、内存：1G、带宽：20M（流量收费）、系统：CentOS6.5、机房：亚太（pccw）一、CPU性能测试：解读：大概是E5 2620，6核心，2G频率，具体可以到百度百科上查到具体信息。 qingcloud-cpu 二、硬盘IO性能测试：解读：本地硬盘，机械硬盘。青云香港IO 三、下载测试：解读：2...

2015年01月03日大数据评论 6 条喜欢 0 阅读 1,043 次阅读全文

C++网址(URL)编码和解码

最近在做，C++的爬虫，需要编码和解码网址（URL） URL解码函数 [cpp]static int php_htoi(char *s) { int value; int c; c = ((unsigned char *)s)[0]; if (isupper(c)) c = tolower(c); value = (c >= '0' && c = '0' && c = 2 && isxdigit((int) *(data + 1)) && isxdigit((int) *(data + 2))) { *dest = (char) php_htoi(data + 1); data += 2; in_str_len -= 2; } else { *...

2014年12月31日大数据评论 2 条喜欢 3 阅读 716 次阅读全文