Nutch搜索引擎Solr简介及安装

时间:2022-09-21 08:44:25

Nutch搜索引擎(第2期)_ Solr简介及安装

 

1、Solr简介

Nutch搜索引擎Solr简介及安装  Solr是一个高性能,采用Java5开发,基于Lucene的全文搜索服务器。同时对其进行了扩展,提供了比Lucene更为丰富的查询语言,同时实现了可配置、可扩展并对查询性能进行了优化,并且提供了一个完善的功能管理界面,是一款非常优秀的全文搜索引擎。

  Solr最初由CNET Networks开发,2006 年初,Apache Software Foundation 在Lucene*项目的支持下得到了Solr。Solr于2007年1月酝酿成熟,在整个项目孵化期间,Solr稳步地积累各种特性并吸引了一个稳定的用户群体、贡献者和提交人。Solr 现在是 Lucene(Apache 的基于Java的全文本搜索引擎库)的一个子项目。

1.1 Solr的特性

  Solr是一个拥有像WebService一样接口的独立运行的搜索服务器。你将能够通过HTTP协议以XML格式将文档放入搜索服务器(这个过程叫做索引),你能够通过HTTP协议的GET来查询搜索服务器并且得到XML格式的结果。

Solr的特性包括:

  • 高级的全文搜索功能
  • 专为高通量的网络流量进行的优化
  • 基于开放接口(XML和HTTP)的标准
  • 综合的HTML管理界面
  • 可伸缩性-能够有效地复制到另外一个Solr搜索服务器
  • 使用XML配置达到灵活性和适配性
  • 可扩展的插件体系

1.2 Solr的目录结构

Nutch搜索引擎Solr简介及安装

Solr 程序包的目录结构

  • client :包含了一些特定语言调用Solr 的API 客户端程序,目前只有Ruby 可供选择,Java 客户端叫SolrJ 在src/solrj 中可以找到。

Nutch搜索引擎Solr简介及安装

  • contrib :在solr 构建过程中放置已编译文件的目录。

Nutch搜索引擎Solr简介及安装

  • dist :存放Solr 构建完成的JAR 文件、WAR 文件和Solr 依赖的JAR 文件。

Nutch搜索引擎Solr简介及安装

  • example :是一个安装好的Jetty 中间件,其中包括一些样本数据和Solr 的配置信息。

Nutch搜索引擎Solr简介及安装

  • example/etc :Jetty 的配置文件。
  • example/multicore :当安装Slor multicore 时,用来放置多个Solr 主目录。
  • example/lib:放置可选的JAR 文件比如对Slor 扩展的插件,这些JAR 文件将会在Solr 启动时加载。
  • example/webapps :Solr 的WAR 文件部署在这里。
  • example/solr:默认安装时一个Solr 的主目录。

Nutch搜索引擎Solr简介及安装

  • example/solr/bin :建议将集群复制脚本放在这个目录下。
  • example/solr/conf :放置配置文件。
    • conf/schema.xml :建立索引的schema 包含了字段类型定义和其相关的分析器。
    • conf/solrconfig.xml :这个是Solr 主要的配置文件。
    • conf/xslt :包含了很多xslt 文件,这些文件能将Solr 的XML 的查询结果转换为特定的格式,比如:Atom/RSS。

1.3 Solr与Lucene关系

  Lucene是apache软件基金会4 jakarta项目组的一个子项目,是一个开放源代码的全文检索引擎工具包,即它不是一个完整的全文检索引擎,而是一个全文检索引擎的架构,提供了完整的查询引擎和索引引擎,部分文本分析引擎(英文与德文两种西方语言)。Lucene的目的是为软件开发人员提供一个简单易用的工具包,以方便的在目标系统中实现全文检索的功能,或者是以此为基础建立起完整的全文检索引擎

  Solr是一个基于Lucene java库的企业级搜索服务器,包含XML/HTTP,JSON API,高亮查询结果,faceted search,缓存,复制还有一个WEB管理界面。Solr运行在Servlet容器中。所以Solr和Lucene的本质区别有以下三点:搜索服务器,企业级和管理。Lucene本质上是搜索库,不是独立的应用程序,而Solr是。Lucene专注于搜索底层的建设,而Solr专注于企业应用。Lucene不负责支撑搜索服务所必须的管理,而Solr负责。所以说,一句话概括Solr:Solr是Lucene面向企业搜索应用的扩展

  1)Solr使用Lucene并且扩展了它

  • 一个真正的拥有动态域(Dynamic Field)和唯一键(Unique Key)的数据模式(Data Schema)
  • 对Lucene查询语言的强大扩展!
  • 支持对结果进行动态的分组和过滤
  • 高级的,可配置的文本分析
  • 高度可配置和可扩展的缓存机制
  • 性能优化
  • 支持通过XML进行外部配置
  • 拥有一个管理界面
  • 可监控的日志
  • 支持高速增量式更新(Fast incremental Updates)和快照发布(Snapshot Distribution)

  2)Schema(模式)

  • 定义域类型和文档的域
  • 能够驱动智能处理
  • 声明式的Lucene分析器规范
  • 动态域能够随时增加域
  • 拷贝域功能允许对一个域进行多种方式的索引,或者将多个域联合成一个可搜索域
  • 显式类型能够减少对域类型的猜测
  • 能够使用外部的基于文件的终止词列表,同义词列表和保护词列表的配置

  3)查询

  • 拥有可配置响应格式(XML/XSLT,JSON,Python,Ruby)的HTTP接口
  • 高亮的上下文搜索结果
  • 基于域值和显式查询的片段式搜索(Faceted Search)
  • 对查询语言增加了排序规范
  • 常量的打分范围(Constant scoring range)和前缀式查询-没有idf,coord,或者lengthNorm因子,对查询匹配的词没有数量限制
  • 函数查询(Function Query)-通过关于一个域的数值或顺序的函数对打分进行影响
  • 性能优化

  4)核心

  • 可插拔的查询句柄(Query Handler)和可扩展的XML数据格式
  • 使用唯一键的域能够增强文档唯一性
  • 能够高效地进行批量更新和删除
  • 用户可配置的文档索引变化触发器(命令)
  • 并发控制的搜索器
  • 能够正确处理数字类型,从而能够进行排序和范围搜索
  • 能够控制缺失排序域的文档
  • 支持搜索结果的动态分组

  5)缓存

  • 可配置的查询结果,过滤器,和文档缓存实例
  • 可插拔的缓存实现
  • 后台缓存热启:当一个新的搜索器被打开时,可配置的搜索将它热启,避免第一个结果慢下来,当热启时,当前搜索器处理目前的请求。
  • 后台自动热启:当前搜索器缓存中最常访问的项目在新的搜索器中再次生成,能够在索引器和搜索器变化的时候高速缓存常查询的结果
  • 快速和小的过滤器实现
  • 支持自动热启的用户级别的缓存

  6)复制

  • 能够将使用rsync传输时改变的索引部分有效的发布
  • 使用拉策略(Pull Strategy)来简化增加搜索器
  • 可配置的发布间隔能够允许对时间线和缓存使用进行权衡选择

  7)管理接口

  • 能够对缓存使用,更新和查询进行综合统计
  • 文本分析调试器,能够显示每个分析器每个阶段的结果
  • 基于WEB的查询和调试输出:解析查询输出,Lucene的explain方法细节,能够解释为何某个文档打分低,被排除在结果中等等

2、Solr安装

2.1 环境介绍

  本次安装Nutch的环境介绍:

  • 操作系统:CentOS6.0(机器名:TSlave.Hadoop)
  • JDK版本:jdk-6u31-linux-i586.bin
  • Solr版本:apache-solr-3.5.0.zip
  • Tomcat版本:apache-tomcat-7.0.27.tar.gz

  下面是软件的下载地址:

  备注:在"Nutch搜索引擎_第1期_Nutch简介及安装",我们已经安装了JDK和Tomcat,这里我们只需要安装Solr,并与之前安装的Nutch相结合。

2.2 安装Solr

第一步:把我们下载的Solr安装上传到"TSlave.Hadoop"机器上。

Nutch搜索引擎Solr简介及安装

第二步:用下面命令进行解压,并重新命名为"solr"。

unzip apache-solr-3.5.0.zip

mv apache-solr-3.5.0 solr

知识点

  • linux zip 命令详解

功能说明:压缩文件。

语 法:zip [-AcdDfFghjJKlLmoqrSTuvVwXyz$][-b <工作目录>][-ll][-n <字尾字符串>][-t <日期时间>][-<压缩效率>][压缩文件][文件...][-i <范本样式>][-x <范本样式>]

补充说明:zip是个使用广泛的压缩程序,文件经它压缩后会另外产生具有".zip"扩展名的压缩文件。

  • linux unzip 命令详解

功能说明:解压缩zip文件

语 法:unzip [-cflptuvz][-agCjLMnoqsVX][-P <密码>][.zip文件][文件][-d <目录>][-x <文件>] 或 unzip [-Z]

补充说明:unzip为.zip压缩文件的解压缩程序。

  • 范例:

zip命令可以用来将文件压缩成为常用的zip格式。unzip命令则用来解压缩zip文件。

1. 我想把一个文件abc.txt和一个目录dir1压缩成为yasuo.zip:

# zip -r yasuo.zip abc.txt dir1

2.我下载了一个yasuo.zip文件,想解压缩:

# unzip yasuo.zip

3.我当前目录下有abc1.zip,abc2.zip和abc3.zip,我想一起解压缩它们:

# unzip abc\?.zip

注释:?表示一个字符,如果用*表示任意多个字符。

4.我有一个很大的压缩文件large.zip,我不想解压缩,只想看看它里面有什么:

# unzip -v large.zip

5.我下载了一个压缩文件large.zip,想验证一下这个压缩文件是否下载完全了

# unzip -t large.zip

6.我用-v选项发现music.zip压缩文件里面有很多目录和子目录,并且子目录中其实都是歌曲mp3文件,我想把这些文件都下载到第一级目录,而不是一层一层建目录:

# unzip -j music.zip

第三步:把Solr安装目录中dist子目录下"apache-solr-nightly.war"重名为"solr.war",然后再复制到到Tomcat安装目录中的webapps 子目录下。

mv apache-solr-3.5.0.war solr.war

cp solr.war /usr/tomcat/webapps

Nutch搜索引擎Solr简介及安装

再到"/usr/tomcat/webpapps"目录中看看。

Nutch搜索引擎Solr简介及安装

第四步:修改Tomcat配置文件server.xml,添加中文字符编码。

修改前:

Nutch搜索引擎Solr简介及安装

修改后:

Nutch搜索引擎Solr简介及安装

第五步:把"/home/hadoop/solr/example/"下的solr目录拷贝到"/usr/tomcat"目录中。用下面命令进行复制。

cp -r solr /usr/tomcat

Nutch搜索引擎Solr简介及安装

第六步:在"/usr/tomcat/conf/Catalina/localhost/"下创建一个solr.xml文件,内容如下所示:

<?xml version="1.0" encoding="UTF-8"?>

<Context docBase="/usr/tomcat/webapps/solr.war" debug="0" crossContext="true" >

<Environment name="solr/home" type="java.lang.String" value="/usr/tomcat/solr" override="true" />

</Context>

备注:docBase为solr的上传目录。

Nutch搜索引擎Solr简介及安装

Nutch搜索引擎Solr简介及安装

第七步:重新启动Tomcat,在浏览器输入"http://192.168.1.11:8080/solr/"。

意外出现,错误信息:Error loading class "solr.VelocityResponseWriter"

Nutch搜索引擎Solr简介及安装

解决方案:在"/usr/tomcat/solr/conf"目录中,找到"solrconfig.xml"文件,找到下面这句话。

<queryResponseWriter

name="velocity"

class="solr.VelocityResponseWriter" enable="${solr.velocity.enabled:true}"/>

把 enable="${solr.velocity.enabled:true}中的true修改为false

当修改完毕之后,重新启动Tomcat,然后再次输入"http://192.168.1.11:8080/solr/"地址,即出现下面界面。

Nutch搜索引擎Solr简介及安装

点"Solr Admin"又会进入下面所示的界面。

Nutch搜索引擎Solr简介及安装

2.3 结合Nutch

1)方案一

第一步:启动Solr,启动目录:${SOLR_HOME}/example

java -jar start.jar

Nutch搜索引擎Solr简介及安装

第二步:验证Solr,在浏览器输入下面内容:

http://localhost:8983/solr/admin/

http://localhost:8983/solr/admin/stats.jsp

备注:因为我们是远程访问,所以需要把"localhost"改为相应机器的IP"192.168.1.11"。

Nutch搜索引擎Solr简介及安装

Nutch搜索引擎Solr简介及安装

第三步:nutch与solr集成

需要将Nutch目录"runtime/local/conf" 下的"schema.xml"文件复制到Solr的"/example/solr/conf "下覆盖原文件。schema.xml设置了索引的字段,把content项后面的stored="false" 改为 stored="true" 后在搜索返回值中就会包含含有关键字的具体内容。

Nutch搜索引擎Solr简介及安装

2)方案二

直接利用我们上面配置在Tomcat中Solr网页,只需要将Nutch目录"runtime/local/conf" 下的"schema.xml"文件复制到Tomcat的"solr/conf"下覆盖原文件。schema.xml设置了索引的字段,把content项后面的stored="false" 改为 stored="true" 后在搜索返回值中就会包含含有关键字的具体内容。然后重启Tomcat服务器,不然不会生效。

如果,您认为阅读这篇博客让您有些收获,不妨点击一下右下角的【推荐】。
如果,您希望更容易地发现我的新博客,不妨点击一下左下角的【关注我】。
如果,您对我的博客所讲述的内容有兴趣,请继续关注我的后续博客,我是【虾皮★csAxp】。

本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。

 

Nutch搜索引擎Solr简介及安装的更多相关文章

  1. Nutch搜索引擎(第2期)&lowbar; Solr简介及安装

    1.Solr简介 Solr是一个高性能,采用Java5开发,基于Lucene的全文搜索服务器.同时对其进行了扩展,提供了比Lucene更为丰富的查询语言,同时实现了可配置.可扩展并对查询性能进行了优化 ...

  2. solr简介与安装

    solr简介: Solr 是Apache下的一个*开源项目,采用Java开发,它是基于Lucene的全文搜索服务器.Solr提供了比Lucene更为丰富的查询语言,同时实现了可配置.可扩展,并对索引 ...

  3. (一)Solr——简介和安装配置

    1. solr简介 1.1 Solr是什么 Solr是apache的*开源项目,它是使用java开发 ,基于lucene的全文检索服务器. Solr和lucene的版本是同步更新的,最新的版本是7. ...

  4. Nutch搜索引擎系列(目录)

    下面是Nutch搜索系列目录,希望对研究Nutch的同学有所帮助. 目录安排: 1)Nutch搜索引擎(第1期)_ Nutch简介及安装[下载] 2)Nutch搜索引擎(第2期)_ Solr简介及安装 ...

  5. Nutch搜索引擎系列

    下面是Nutch搜索系列目录,希望对研究Nutch的同学有所帮助. 目录安排: 1)Nutch搜索引擎(第1期)_ Nutch简介及安装[下载] 2)Nutch搜索引擎(第2期)_ Solr简介及安装 ...

  6. 【Nutch2&period;2&period;1基础教程之2&period;1】集成Nutch&sol;Hbase&sol;Solr构建搜索引擎之一:安装及运行【单机环境】

    1.下载相关软件,并解压 版本号如下: (1)apache-nutch-2.2.1 (2) hbase-0.90.4 (3)solr-4.9.0 并解压至/usr/search 2.Nutch的配置 ...

  7. Nutch之简介与安装

    初学Nutch之简介与安装 初学Nutch之简介与安装   1.Nutch简介 Nutch是一个由Java实 现的,开放源代码(open-source)的web搜索引擎.主要用于收集网页数据,然后对其 ...

  8. 【Nutch2&period;2&period;1基础教程之2&period;2】集成Nutch&sol;Hbase&sol;Solr构建搜索引擎之二:内容分析

    请先参见"集成Nutch/Hbase/Solr构建搜索引擎之一:安装及运行",搭建测试环境 http://blog.csdn.net/jediael_lu/article/deta ...

  9. solr 学习之简介及安装

    一.solr简介 Solr 是Apache下的一个*开源项目,采用Java开发,它是基于Lucene的全文搜索服务器.Solr提供了比Lucene更为丰富的查询语言,同时实现了可配置.可扩展,并对索 ...

随机推荐

  1. &lt&semi;button&gt&semi;标签与&lt&semi;input type&equals;&quot&semi;button&quot&semi;&gt&semi;标签

    <script type="text/javascript" src="/jquery-1.11.3.min.js"></script> ...

  2. LDA&lpar;转发&rpar;

    主题模型-LDA浅析 分类: 数据挖掘 机器学习2012-09-03 14:09 24937人阅读 评论(16) 收藏 举报 文档allocationsemanticeach算法网络 上个月参加了在北 ...

  3. RFID 基础&sol;分类&sol;编码&sol;调制&sol;传输

    不同频段的RFID产品会有不同的特性,本文详细介绍了无源的感应器在不同工作频率产品的特性以及主要的应用. 目前定义RFID产品的工作频率有低频.高频和甚高频的频率范围内的符合不同标准的不同的产品,而且 ...

  4. 安卓开发&lowbar;浅谈ContextMenu(上下文菜单)

    长下文菜单,即长按view显示一个菜单栏 与OptionMenu的区别OptionMenu对应的是activity,一个activity只能拥有一个选项菜单ContextMenu对应的是View,每个 ...

  5. Linux改变进程优先级的nice命令

    前言: VPS普遍性能不高,很多人可能有这样一个感受,在执行du.tar等命令时,会造成系统负载飙升,Apache响应缓慢.这时nice命令改变进程优先级可能能缓解这种状况.nice命令用于调整Lin ...

  6. 【C&plus;&plus;基础之十四】函参的缺省

    可能会有这么一个函数,在大部分的情况下,我们不用给它传递参数,但在某些特殊情况下,我们需要给它传递参数,那怎么办呢? 简单啊,写两个一样的方法,一个带参,一个不带参... 这样也太没水准了.来点高端的 ...

  7. Java 反射之动态代理

    详见:http://blog.yemou.net/article/query/info/tytfjhfascvhzxcyt205 利用Java反射机制你可以在运行期动态的创建接口的实现.java.la ...

  8. Java基础学习笔记三 Java基础语法

    Scanner类 Scanner类属于引用数据类型,先了解下引用数据类型. 引用数据类型的使用 与定义基本数据类型变量不同,引用数据类型的变量定义及赋值有一个相对固定的步骤或格式. 数据类型 变量名 ...

  9. react使用ant-design组件库

    新建项目并引入组件 1,全局安装脚手架 npm install -g create-react-app 2,新建项目 create-react-app reactantd 3,安装组件 npm ins ...

  10. &lbrack;转帖&rsqb;USB-C和Thunderbolt 3连接线你搞懂了吗?---没搞明白&period;

    USB-C和Thunderbolt 3连接线你搞懂了吗? 2018年11月25日 07:30 6318 次阅读 稿源:威锋网 3 条评论 按照计算行业的风潮,USB Type-C 将会是下一代主流的接 ...