网络爬虫可以做什么,网络爬虫入门

2020-11-12 阅读 骆璞整理

内容简介:1、预告:最近我在忙一个商业银行的项目。我需要介绍外部互联网数据作为参考。作为技术选择阶段,我们确定了中文分词工具。下一个主题是网络爬虫的选择。目标很明确。我们需要从金融网站...

一、引言:

最近在忙某个商业银行的项目,需要引入外部互联网数据作为参考,作为技术选型阶段的工作,之前已经确定了中文分词工具,下一个话题就是网络爬虫的选择,目标很明确,需要下载一些财经网站的新闻信息,然后进行文本计算。记得上一次碰爬虫还是5年前,时过境迁,不知道爬虫的世界里是否有了新的崛起。比较过一些之后,初步认定Heritrix基本能够满足需要,当然肯定是需要定制的了。

二、版本选择

Heritrix当前版本3.1.0,安装后发现,启动任务时,Windows平台有BDBOpen的错误(具体原因不详),Linux环境没有测试。度娘了一把,没啥实质性收获,如果从源码去看,又太费时间。就换到了3.0.5,这个版本也有问题,就是创建Job时,总是提示文件夹有问题,可以选择手动创建下载任务。操作界面如下图所示:

三、配置任务-手动

1.jobs目录下新建文件夹sohu;

2.拷贝模板文件profile-crawler-beans.cxml到sohu目录

3.重命名profile-crawler-beans.cxml文件为crawler-beans.cxml

4.手动修改文件crawler-beans.cxml,设置目标网站和存储方式:

复制代码

代码如下:

# This Properties map is specified in the Java 'property list' text format

# a href="http://java.sun.com/javase/6/docs/api/java/util/Properties.html#load(java.io.Reader)"http://java.sun.com/javase/6/docs/api/java/util/Properties.html#load(java.io.Reader)/a/ppmetadata.operatorContactUrl=http://localhost

metadata.jobName=sohu

metadata.description=sohujingxuan/pp##..more?..##

/value

/property

/bean/pp !-- overrides from declared prop elements, more easily allowing

multiline values or even declared beans --

bean id="longerOverrides" class="org.springframework.beans.factory.config.PropertyOverrideConfigurer"

property name="properties"

props

prop key="seeds.textSource.value"/pp# URLS HERE

a href="http://t.sohu.com/jingxuan"http://t.sohu.com/jingxuan/a/pp /prop

/props

/property

/bean/pp !-- CRAWL METADATA: including identification of crawler/operator --

bean id="metadata" class="org.archive.modules.CrawlMetadata" autowire="byName"

property name="operatorContactUrl" value="a href="http://localhost"/"http://localhost"//a

property name="jobName" value="sohu"/

property name="description" value="sohujingxuan"/

!-- property name="operator" value=""/ --

!-- property name="operatorFrom" value=""/ --

!-- property name="organization" value=""/ --

!-- property name="audience" value=""/ --

!-- property name="userAgentTemplate"

value="Mozilla/5.0 (compatible; a href="mailto:heritrix/@VERSION"heritrix/@VERSION/a@ a href="mailto: @OPERATOR_CONTACT_URL@)"/" @OPERATOR_CONTACT_URL@)"//a --

/bean

四、停用Robots检查

改造函数,禁用Robots协议检查,目的就不说了,改造方法如下:

复制代码

代码如下:

private boolean considerRobotsPreconditions(CrawlURI curi) {

// treat /robots.txt fetches specially

// zhangzl:取消robots.txt的强制限制

return false;

//--/pp}

五、后续工作

1.定向下载改造:只下载目标内容,过滤无关信息。

2.自动解析改造:下载内容自动解析到指定目录,指定格式。

作者给您推荐的内容
  1. QQ拉圈,这是手机QQ个性卡的功能。设置个性化名片的步骤qq拉拉圈怎么设置出来?:在手机上打开QQ;点击QQ头像进入账户设置页面,点击个性化装扮,点击名片,选择想要设置的礼服,点击设置。需...

  2. 固态硬盘可以使我们的笔记本电脑读写更快,并降低电脑的热量。如果您电脑的SSD使用时间较长,内存很小,建议您及时更换,否则会笔记本电脑固态硬盘怎么换大大降低笔记本电脑的使用效率。...

  3. 所有的CAD文件都可以先从那里购AutoCAD2010安装图文教程买。在那里,cadugproecoe和其他软件CD可以出售,也可以在互联网上免费下载。现在互联网上的资源太多了,我们应该好好利用它们。下面小编将...

  4. 手机葵花可以如何在手机快手app内设置私信权限下载手机手机时的短手应用程序观看短片。除了快速视频,我们还可以和其他用户聊天。如果我们不想被某些人打扰,我们可以设立私人信件特权。...

  5. 所谓Win10系统旁加载模式是什么win10侧加载模式(函数)是指第三方应用程序未通过Microsoft应用程序商店(Windows store)进行无限制安装和测试的操作模式。换句话说,在这种模式下,安装并测试An...

  6. 第一步:浏览照片。跑美图看看。在窗口左侧的导航栏中查找并选择存储照片的文件夹。文件夹中的所有照片将以缩略图的形式显示在窗口中。拖动窗口右上照片批量改尺寸,美图看看帮你忙!角缩略...

  7. 有时我们的计算机不能连接到Interwin8怎么设置ip地址?win8系统修改ip地址方法net,所以我们需要设置和修改特定的IP地址。win8如何设置IP地址?我将简要谈谈如何修改win8系统的IP地址。如何在win81中设...

  8. 看了这么长时间的微信,我们发现我们不仅讨厌像全家桶这样的产品,更希望操作系统本身能提供更多的功能。我们也希望小编可以深入系统和注册表无需用流量管家等软件!rainmeter让你的电脑实时...

  9. 支付宝健支付宝app怎么转赠健康果?支付宝健康果赠送给好友的教程康水果可以兑换健康保险,你如何把多余的健康水果送给朋友?让我们看看详细的教程。1、这里有一张iPhone手机截图,供大家参考...

  10. 有些用户可能因为工作需要每天下载大量软件。如果他们不需要它,他们会卸载它。部分用户卸载软件后,win7系统计算机无法正常启动,显示卸载软件后win7系统电脑无法正常启动显示黑屏的解决方...