博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
前嗅ForeSpider教程:采集预览
阅读量:6093 次
发布时间:2019-06-20

本文共 1121 字,大约阅读时间需要 3 分钟。

hot3.png

今天,小编为大家带来的教程是:如何在前嗅ForeSpider中,进行采集预览。主要内容包括:采集预览的使用方法,预览链接/数据抽取,和预览错误情况排查;具体内容如下:

一,采集预览的使用方法

1.采集预览

在正式采集之前,可以点击界面右上方的“采集预览”按钮,以查看配置是否正确。

采集预览的结果和正式采集的结果是一致的,但是只采集没有入库。 采集预览的页面包括两种:链接信息(>>预览链接抽取)和数据信息(>>预览数据抽取)。

双击链接条目,可以打开下一层页面。采集预览的页面结构和配置的模板列表结构是相同的,先预览的是模板一的采集结果,通过双击链接进入下层模板预览。

2.模板预览

或在模板列表右键,选择模板预览,可以直接查看当前模板的采集结果。

【右键-模板预览】

二,预览链接抽取

1.未过滤

当仅输入了采集地址,没有配置模板时,点击“采集预览”可以看到采集源地址能够下载的所有链接。

2.过滤链接后

当配置了链接抽取后,可以根据链接地址或标题名称过滤掉无关的链接。可以在采集预览的窗口直接输入过滤串,进行地址过滤或标题过滤。可以看到采集的链接地址全部包含该字符串,剔除了不包含的链接。

【预览链接抽取】

三,预览数据抽取

创建数据抽取,并为字段赋值之后,可以预览到已经抽取出来的数据。在链接抽取页面,双击某个链接,将打开下面的数据预览页面。 或在数据抽取节点,右键选择“模板预览”查看。

【预览数据抽取】

四,预览错误情况排查

1.频道和模板的配置错误

①输入为空或不合法:频道配置的采集地址为空或不合法。

②模板分类错误:分类器错误。

③地址错误:采集地址不存在或已经失效。

④模板错误:模板不存在或已经损坏。

⑤频道入口配置错误:关键词搜索配置错误。

⑥文档类型错误:采集对象是不能够识别的文档。

⑦频道配置不合法:频道配置错误。

2.http下载错误

①服务器繁忙:采集对象的服务器繁忙。

②域名解析错误:域名解析出现错误。

③网页重定向:采集对象重新定向了新的地址。

④网页未找到:未找到请求资源。

⑤权限访问错误:方法禁止操作或权限不够。

⑥服务器错误:本机服务发生错误。

⑦网络错误:网络发生错误。

⑧https协议错误:ssl错误。

⑨代理服务器错误:代理错误。

⑩内容错误:下载的页面内容发生错误。

⑪用户取消下载:下载过程中用户过滤或取消。

3.文档类型无法识别

文档后缀与实际类型不符。

4.脚本执行出错

脚本配置出错。

5.数据错误

数据库插入、更新、删除、查询等发生错误。

6.未知错误

发生其他各类错误。

转载于:https://my.oschina.net/forespider/blog/3012921

你可能感兴趣的文章
[又拍云]云计算中又一架重要的马车
查看>>
Ruby on Rails 学习笔记(一)
查看>>
Linux下安装pymysql步骤
查看>>
PHP+MySQL数据库教程
查看>>
jQuery UI Datepicker 添加时分秒
查看>>
linux查看和终止进程
查看>>
Beyond Compare比较表格小技巧
查看>>
以太坊·代币开发详解
查看>>
LibreOffice 中文版安装指南
查看>>
c++中调用c代码的3 种方法
查看>>
ISO C 标准定义的头文件
查看>>
nginx配置
查看>>
joomla1.5前台组件开发过程分享(附中文开发教程两本)
查看>>
Sharepoint 2013企业内容管理学习笔记(二) 全自动化内容管理
查看>>
DateDiff()倒计时
查看>>
c++11新特性--decltype auto
查看>>
RawCap
查看>>
screen命令的最常见的使用方法
查看>>
我的友情链接
查看>>
Erlang教程
查看>>