Scrapy | C/C++程序员之家

Selenium+PhantomJS+HeadlessChrome对比

Headless Chrome 它是指在headless模式下运行谷歌浏览器。本质就是不用谷歌运行谷歌！它将由Chromium和Blink渲染引擎提供的所有现代网页平台的特征都转化成了命令行。phantomjs无人维护的情况下（Slobodin在Google论坛上发帖表示，鉴于Chrome 59推出了特性，他认为没有理由再继续维护Phantom.js。），headless chrome确实为一个更好的选择！ Headless代码示例 from selenium import webdriver from seleni...

2017年11月17日 Scrapy 暂无评论喜欢 0 阅读 914 次阅读全文

Selenium+PhantomJS（系列八：CSS选择器）

Selenium+PhantomJS（系列八：CSS选择器） PhantomJS主要是通过JavaScript和CoffeeScript控制WebKit的CSS选择器、可缩放矢量图形SVG和HTTP网络等各个模块。我们可以利用CSS选择器进行一些复杂的值选取操作。 querySelector示例一： var content = page.evaluate(function () { var element = document.querySelector('#elem'); return element.textContent; }); cons...

2017年04月11日 Scrapy 暂无评论喜欢 0 阅读 141 次阅读全文

Selenium+PhantomJS（系列七：OCR的优化技巧）

Selenium+PhantomJS（系列七：OCR的优化技巧） Phantomjs可以选择元素区域截图，然后可以利用OCR做验证码识别，或做一些图形图像分析，等等。OCR引擎推荐tesseract。中文识别库下载：https://codeload.github.com/tesseract-ocr/tessdata/zip/master，另外tesseract支持字库训练，可以方便的训练出适合某种场景的识别库出来。这里简单说下OCR的优化。优化技巧一： 1、网页按照比例放大后，再截图： driver...

2017年04月11日 Scrapy 暂无评论喜欢 0 阅读 227 次阅读全文

Selenium+PhantomJS（系列六：元素区域截图，OCR）

Selenium+PhantomJS系列教程： Selenium+PhantomJS（系列一：设置User-Agent） Selenium+PhantomJS（系列二：模拟登录淘宝） Selenium+PhantomJS（系列三：模拟登录知乎） Selenium+PhantomJS（系列四：模拟登录微博） Selenium+PhantomJS（系列五：selenium的等待） Selenium+PhantomJS（系列六：元素区域截图，OCR） Selenium+PhantomJS（系列六：元素区域截图，OCR），针对元素区域截图，然后可以利用...

2017年04月11日 Scrapy 暂无评论喜欢 0 阅读 731 次阅读全文

Selenium+PhantomJS（系列五：selenium的等待）

Selenium+PhantomJS系列教程： Selenium+PhantomJS（系列一：设置User-Agent） Selenium+PhantomJS（系列二：模拟登录淘宝） Selenium+PhantomJS（系列三：模拟登录知乎） Selenium+PhantomJS（系列四：模拟登录微博） Selenium+PhantomJS（系列五：selenium的等待） Selenium+PhantomJS（系列五：selenium的等待） 1、强制等待time.sleep()，最简单粗暴的方法就是强制等待sleep(xx)。 2、隐式等待implic...

2016年10月17日 Python, Scrapy 暂无评论喜欢 1 阅读 904 次阅读全文

Selenium+PhantomJS（系列四：模拟登录微博）

Selenium+PhantomJS系列教程： Selenium+PhantomJS（系列一：设置User-Agent） Selenium+PhantomJS（系列二：模拟登录淘宝） Selenium+PhantomJS（系列三：模拟登录知乎） Selenium+PhantomJS（系列四：模拟登录微博） Selenium+PhantomJS（系列五：selenium的等待） Selenium+PhantomJS（系列四：模拟登录微博）引入selenium package, 建立webdriver对象 from selenium import webdriver sel = sele...

2016年10月17日 Python, Scrapy 暂无评论喜欢 1 阅读 1,482 次阅读全文

Selenium+PhantomJS（系列三：模拟登录知乎）

Selenium+PhantomJS系列教程： Selenium+PhantomJS（系列一：设置User-Agent） Selenium+PhantomJS（系列二：模拟登录淘宝） Selenium+PhantomJS（系列三：模拟登录知乎） Selenium+PhantomJS（系列四：模拟登录微博） Selenium+PhantomJS（系列五：selenium的等待） Selenium+PhantomJS（系列三：模拟登录知乎） #!/usr/bin/env python # -*- coding: UTF-8 -*- from selenium import webdriver from...

2016年10月09日 Python, Scrapy 暂无评论喜欢 0 阅读 1,575 次阅读全文

Selenium+PhantomJS（系列二：模拟登录淘宝）

Selenium+PhantomJS系列教程： Selenium+PhantomJS（系列一：设置User-Agent） Selenium+PhantomJS（系列二：模拟登录淘宝） Selenium+PhantomJS（系列三：模拟登录知乎） Selenium+PhantomJS（系列四：模拟登录微博） Selenium+PhantomJS（系列五：selenium的等待） Selenium+PhantomJS（系列二：模拟登录淘宝） from selenium import webdriver driver = webdriver.PhantomJS(executable_path='/opt...

2016年10月09日 Python, Scrapy 暂无评论喜欢 0 阅读 2,898 次阅读全文

Selenium+PhantomJS（系列一：设置User-Agent）

Selenium+PhantomJS系列教程： Selenium+PhantomJS（系列一：设置User-Agent） Selenium+PhantomJS（系列二：模拟登录淘宝） Selenium+PhantomJS（系列三：模拟登录知乎） Selenium+PhantomJS（系列四：模拟登录微博） Selenium+PhantomJS（系列五：selenium的等待） Selenium+PhantomJS（系列一：设置User-Agent）有些网站的WebServer对User-Agent有限制，可能会拒绝不熟悉的User-Agent的访问，所以，...

2016年10月08日 Python, Scrapy 暂无评论喜欢 1 阅读 3,026 次阅读全文

Scrapyd常用API

Scrapyd常用API，Scrapyd常用API详解爬虫接口IP：http://192.168.0.2:6800/ 1、启动API（POST）: http://192.168.0.2:6800/schedule.json -d project=xxxspider -d spider=cplusplus -d word=['hahaha'] -d version=1.0.2 {"status": "ok", "jobid": "dcc25dda594b11e6b757fc4dd43b1961", "node_name": "ubuntu-16"} 2、取消API（POST）: http://192.168.0.2:6800/cancel.json -d project=xxxspider -d ...

2016年08月09日 Scrapy 暂无评论喜欢 1 阅读 597 次阅读全文