solr定时增量索引

时间：2023-03-08 21:36:03

当数据库的数据发生改变的时候，我们不想手动的去重新添加数据库的数据导solr索引库中，所以用到定时添加索引。增删改的数据。现在写的这些都是基于我之前做的一步步到这来的。

将solr/dist下的solr-dataimporthandler-4.8.1.jar、solr-dataimporthandler-extras-4.8.1.jar这两个包拷贝到tomcat/webapps/solr/lib下，还有下载apache-solr-dataimportscheduler.jar也拷贝到tomcat/webapps/solr/lib下，下载链接apache-solr-dataimportscheduler.jar的下载链接。

修改solr\home\mycore\conf下的data-config.xml文件。

<dataConfig>

    <dataSource type="JdbcDataSource"

              driver="com.mysql.jdbc.Driver"

              url="jdbc:mysql://localhost:3306/courseman"

              user="root"

              password="mysql" />

    <document>

        <entity pk="ID"  dataSource="courseman" name="student" query="select  *  from student WHERE deleteStatus=0 "

              deltaQuery="select ID  from student where createTime > '${dataimporter.last_index_time}'"

                    deletedPkQuery="select ID from student where deleteStatus=1"

              deltaImportQuery="select * from student where ID='${dataimporter.delta.ID}'" >

            <field column="ID" name="id" />

            <field column="name" name="name" />

            <field column="gender" name="gender" />

            <field column="major" name="major" />

            <field column="grade" name="grade" />

            <field column="deleteStatus" name="deleteStatus" />

            <field column="createTime" name="createTime" />

            <field column="updateTime" name="updateTime" />

          </entity>

    </document>

</dataConfig>
  1. query查询是指查询出表里所有的符合条件的数据，因为我的数据库student表中的数据是根据deleteStatus来查询的。类型是boolean。这来要查询的所有符合条件的结果根据实际情况定。也可以是int类型的。是第一次查询的数据，或者是full-import的数据。
  2. deltaQuery的意思是，查询出所有经过修改的记录的ID，可能是修改，添加，删除等操作产生的  (这里查询只对增量导入起作用，即查询的是新增的数据，而且只能返回ID值) 。
  3. deletedPkQuery查询那些数据库里伪删除的数据的ID。这里deleteStatus=1，删除状态为1，表示删除的数据。创建索引的时候不会将这些数据添加进来。
  4. deltaImportQuery该查询是获取以上两步的ID，然后把其全部数据获取，根据获取的数据   对索引库进行更新操作，可能是删除，添加，修改 (该查询只对增量导入起作用，可以返回多个字段的值,一般情况下，都是返回所有字段的列) ，即通过2、3步的查询结果，进行匹配.

假如deltaQuery满足条件有5条数据，deletedPkQuery满足条件有3条数据，那么这5条数据就会被更新进来，这3条数据呢就会被删除掉，原有的数据还存在。是根据原有的数据更新的。具体是怎么样的还有待研究。

在tomcat\webapps\solr\WEB-INF\web.xml加入这句话：

<listener>

             <listener-class>org.apache.solr.handler.dataimport.scheduler.ApplicationListener</listener-class>

   </listener>

这个class是在apache-solr-dataimportscheduler.jar包下的。

在solr\home文件下创建conf文件夹，原本是没有的，要自己创建。不是solr\home\mycore\conf。启动tomcat的时候他会去找solr目录下home\conf。如果没有找到，启动报错，访问不到路径，报404错。

他是根据这个配置的。

<?xml version="1.0" encoding="utf-8"?>

<Context docBase="D:\work-tool\server\solr\server\solr-4.8.1.war" reloadable="true" >

      <Environment name="solr/home" type="java.lang.String" value="D:\work-tool\server\solr\home" override="true" />

</Context>
D:\work-tool\server\solr\home\conf\dataimport.properties

在这个conf文件下创建dataimport.properties并添加内容

interval=1

port=8983

server=localhost

params=/dataimport?command=delta-import&clean=false&commit=true

webapp=solr

reBuildIndexInterval=1

syncEnabled=1

reBuildIndexBeginTime=03:10:00

reBuildIndexParams=/dataimport?command=full-import&clean=true&commit=true

syncCores=mycore

interval:

port:solr的端口

server:solr的路径

webapp:solr名称

syncCores:索引库位置，可以多个，用逗号隔开。

apache-solr-dataimportscheduler的源代码里面有个错误，应该把POST请求改为GET请求。不然他会报415错误。

相关文章