Solr学习(四)DIH全量导入并索引数据

时间:2022-09-12 07:58:29

根据前面的步骤,我们已经配置好了Solr,以及加入了中文分词器。


转载请注明出处:jiq•钦's technical Blog

下面介绍怎么利用DIH从Oracle数据库和Mysql数据库导入数据,并为数据建立索引。


(一)Oracle数据库的全量DIH

(1)数据库中创建一个表,并插入两条数据:

create table UserInfo  
(
userID number constraint userID_pk primary key,
userName varchar(30) not null,
userAge number not null
)

insert into UserInfo values(1,'jiyiqin',25)
INSERT INTO USERINFO VALUES ( 2, '我的名字是季义钦', 25 );

select USERID,USERNAME,USERAGE from USERINFO

(2)配置solrconfig.xml:

打开Solr主目录的conf文件夹下(E:\SOLR_HOME\solr\collection1\conf)的配置文件solrconfig.xml,加入一个请求处理者配置:

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
<lst name="defaults">
<str name="config">data-config.xml</str>
</lst>
</requestHandler>

(3)新建data-config.xml:

就在这个同级目录conf下新建一个配置文件data-config.xml,加入下面内容:

<dataConfig>
<dataSource type="JdbcDataSource" driver="oracle.jdbc.driver.OracleDriver" url="jdbc:oracle:thin:@//192.168.1.108:1521/baseinfo" user="JIYIQIN" password="passok" />
<document>
<entity name="id" query="select USERID,USERNAME,USERAGE from USERINFO">
<field column="USERID" name="id"/>
<field column="USERNAME" name="userName"/>
<field column="USERAGE" name="userAge"/>
</entity>
</document>
</dataConfig>

file域配置数据库表的列名,到scheme.xml配置文件中配置的的索引字段名称的映射。

(4)配置schema.xml:

在schema.xml文件中加入这几个字段的配置:

<field name="userName" type="text_general" indexed="true" stored="true" /> 
<field name="userAge" type="int" indexed="true" stored="true" />

因为id字段已经配置了,所以不需要我们加了,它可是必须的,是一个唯一主键。

配置结束。


(5)加入JDBC驱动:

将oracle的JDBC驱动(ojdbc6.jar)放到部署到tomcat的webapps下的solr的lib文件夹(E:\apache-tomcat-7.0.47\webapps\solr\WEB-INF\lib)下。

我的jdk是版本7的,oracle是11.2.0.1的,到官网下载对应的这个JDBC的jar包就可以。


(6)加入导入相关的jar包:

到solr的解压包的dist目录(E:\solr-4.5.1\dist)下找到solr-dataimporthandler-4.5.1.jar和solr-dataimporthandler-extras-4.5.1.jar这两个jar包,同样放到部署到tomcat的webapps下的solr的lib文件夹(E:\apache-tomcat-7.0.47\webapps\solr\WEB-INF\lib)下。

注意:要进行增量导入还需要另外一个jar包,但是我们这里是先测试全量导入。


好了。启动Tomcat,在浏览器中输入: http://localhost:80/solr/dataimport?command=full-import 进行全量导入。

到查询界面,查询userName这个字段,包含“名字”这个中文词的记录。如图:

Solr学习(四)DIH全量导入并索引数据


(一)MYSQL数据库的全量DIH

所有步骤与Oracle的一模一样,只是有些步骤有些细微差别。

(1)data-config.xml文件中指定的数据源:

<dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost:3306/test" user="root" password="passwd" />

(2)引入的JDBC驱动:

引入的JDBC驱动是:mysql-connector-java-5.1.27-bin.jar

可以从我的云盘下载:http://pan.baidu.com/s/1w33ch


其他步骤就都是一样的了,配置好了之后启动Tomcat,在浏览器中输入: http://localhost:80/solr/dataimport?command=full-import 进行全量导入。

之后便可以进行查询了。


下一篇文章将介绍如何利用DIH定期增量导入MySQL中的数据并建立索引。