Linux下PHP+MySQL+CoreSeek中文检索引擎配置

时间:2023-03-08 15:36:55

说明:

操作系统:CentOS 5.X

服务器IP地址:192.168.21.127

Web环境:Nginx+PHP+MySQL

站点根目录:/usr/local/nginx/html

目的:安装coreseek中文检索引擎,配置MySQL数据库访问接口,使用PHP程序实现中文检索。

CoreSeek官方网站:

http://www.coreseek.cn/

http://www.coreseek.cn/products/=%22/products-install/step_by_step/

http://www.coreseek.cn/products-install/mysql/

具体操作:

一、安装编译工具

yum install make gcc g++ gcc-c++ libtool autoconf automake imake mysql-devel libxml2-devel expat-devel

二 、安装CoreSeek

1、下载CoreSeek

下载地址:http://www.coreseek.cn/uploads/csft/3.2/coreseek-3.2.14.tar.gz

上传coreseek-3.2.14.tar.gz到/usr/local/src目录

wget http://www.coreseek.cn/uploads/csft/3.2/coreseek-3.2.14.tar.gz

2、安装mmseg

cd /usr/local/src

tar zxvf coreseek-3.2.14.tar.gz  #解压

cd coreseek-3.2.14

cd mmseg-3.2.14

./bootstrap    #输出的warning信息可以忽略,如果出现error则需要解决

./configure --prefix=/usr/local/mmseg3  #配置

make  #编译

make install  #安装

3、安装CoreSeek

cd /usr/local/src

cd coreseek-3.2.14

cd csft-3.2.14

sh buildconf.sh    #输出的warning信息可以忽略,如果出现error则需要解决

./configure --prefix=/usr/local/coreseek  --without-unixodbc --with-mmseg --with-mmseg-includes=/usr/local/mmseg3/include/mmseg/ --with-mmseg-libs=/usr/local/mmseg3/lib/ --with-mysql  #配置

make  #编译

make install  #安装

三、测试mmseg分词、coreseek搜索、MySQL数据源

cd /usr/local/src

cd coreseek-3.2.14

cd testpack

cat /usr/local/src/coreseek-3.2.14/testpack/var/test/test.xml    #此时应该正确显示中文,如下图所示

Linux下PHP+MySQL+CoreSeek中文检索引擎配置

/usr/local/mmseg3/bin/mmseg  -d  /usr/local/mmseg3/etc  /usr/local/src/coreseek-3.2.14/testpack/var/test/test.xml

Linux下PHP+MySQL+CoreSeek中文检索引擎配置

系统运维  www.osyunwei.com  温馨提醒:qihang01原创内容 版权所有,转载请注明出处及原文链接

/usr/local/coreseek/bin/indexer -c /usr/local/src/coreseek-3.2.14/testpack/etc/csft.conf --all

Linux下PHP+MySQL+CoreSeek中文检索引擎配置

/usr/local/coreseek/bin/search -c /usr/local/src/coreseek-3.2.14/testpack/etc/csft.conf 网络搜索

/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/sphinx-min.conf.dist

Linux下PHP+MySQL+CoreSeek中文检索引擎配置

/usr/local/coreseek/bin/indexer -c /usr/local/src/coreseek-3.2.14/testpack/etc/csft.conf --all --rotate  #启动服务,更新索引

Linux下PHP+MySQL+CoreSeek中文检索引擎配置

测试MySQL数据源:

测试数据库下载:http://www.coreseek.cn/uploads/csft/test/documents.sql

上传documents.sql到/usr/local/src目录

导入数据库到MySQL从服务器:

mysql  -u root -p  #进入MySQL控制台

create database documents;   #创建数据库

use documents    #进入数据库

source  /usr/local/src/documents.sql  #导入备份文件到数据库

exit #退出MySQL控制台

cp  /usr/local/src/coreseek-3.2.14/testpack/etc/csft_mysql.conf  /usr/local/coreseek/etc/csft_mysql.conf  #拷贝MySQL数据源配置文件

ln -s  /usr/local/coreseek/etc/csft_mysql.conf  /etc/csft_mysql.conf  #添加软连接

vi  /etc/csft_mysql.conf  #编辑,修改

###############################################################################

#MySQL数据源配置,详情请查看:http://www.coreseek.cn/products-install/mysql/

#请先将var/test/documents.sql导入数据库,并配置好以下的MySQL用户密码数据库

#源定义

source mysql

{

type                    = mysql

sql_host                = localhost

sql_user                = root  #账号

sql_pass                =123456 #密码

sql_db                    = documents  #MySQL数据库名称

sql_port                = 3306

sql_query_pre            = SET NAMES utf8

sql_query                = SELECT id, group_id, UNIX_TIMESTAMP(date_added) AS date_added, title, content FROM documents

#sql_query第一列id需为整数

#title、content作为字符串/文本字段,被全文索引

sql_attr_uint            = group_id           #从SQL读取到的值必须为整数

sql_attr_timestamp        = date_added #从SQL读取到的值必须为整数,作为时间属性

sql_query_info_pre      = SET NAMES utf8                                        #命令行查询时,设置正确的字符集

sql_query_info            = SELECT * FROM documents WHERE id=$id #命令行查询时,从数据库读取原始数据信息

}

#index定义

index mysql

{

source            = mysql             #对应的source名称

path            = /usr/local/coreseek/var/data/mysql #请修改为实际使用的绝对路径,例如:/usr/local/coreseek/var/...

docinfo            = extern

mlock            = 0

morphology        = none

min_word_len        = 1

html_strip                = 0

#中文分词配置,详情请查看:http://www.coreseek.cn/products-install/coreseek_mmseg/

charset_dictpath = /usr/local/mmseg3/etc/ #BSD、Linux环境下设置,/符号结尾

#charset_dictpath = etc/                             #Windows环境下设置,/符号结尾,最好给出绝对路径,例如:C:/usr/local/coreseek/etc/...

charset_type        = zh_cn.utf-8

}

#全局index定义

indexer

{

mem_limit            = 1024M  #内存使用限制

max_iops = 100

max_iosize = 0

}

#searchd服务定义

searchd

{

listen                  =   9312

read_timeout        = 5

max_children        = 30

max_matches            = 1000

seamless_rotate        = 0

preopen_indexes        = 0

unlink_old            = 1

pid_file = /usr/local/coreseek/var/log/searchd_mysql.pid  #请修改为实际使用的绝对路径,例如:/usr/local/coreseek/var/...

log =/usr/local/coreseek/var/log/searchd_mysql.log        #请修改为实际使用的绝对路径,例如:/usr/local/coreseek/var/...

query_log =/usr/local/coreseek/var/log/query_mysql.log #请修改为实际使用的绝对路径,例如:/usr/local/coreseek/var/...

}

#################################################################################

:wq!  #保存退出

cp  /usr/local/src/coreseek-3.2.14/testpack/api/sphinxapi.php  /usr/local/nginx/html/sphinxapi.php  #拷贝测试文件到web站点根目录下

cp  /usr/local/src/coreseek-3.2.14/testpack/api/test_coreseek.php  /usr/local/nginx/html/test_coreseek.php #拷贝测试文件到web站点根目录下

cd /usr/local/nginx/html  #进入web站点根目录

vi test.php  #编辑,添加以下代码

#################################################################################

<?php

//注意文件的编码格式需要保存为为UTF-8格式

require ( "sphinxapi.php" );

$cl = new SphinxClient ();

$cl->SetServer ( '127.0.0.1', 9312);

//以下设置用于返回数组形式的结果

$cl->SetArrayResult ( true );

/*

//ID的过滤

$cl->SetIDRange(3,4);

//sql_attr_uint等类型的属性字段,需要使用setFilter过滤,类似SQL的WHERE group_id=2

$cl->setFilter('group_id',array(2));

//sql_attr_uint等类型的属性字段,也可以设置过滤范围,类似SQL的WHERE group_id2>=6 AND group_id2<=8

$cl->SetFilterRange('group_id2',6,8);

*/

//取从头开始的前20条数据,0,20类似SQl语句的LIMIT 0,20

$cl->SetLimits(0,20);

//在做索引时,没有进行 sql_attr_类型 设置的字段,可以作为“搜索字符串”,进行全文搜索

$res = $cl->Query ( '搜索字符串', "*" );    //"*"表示在所有索引里面同时搜索,"索引名称(例如test或者test,test2)"则表示搜索指定的

//如果需要搜索指定全文字段的内容,可以使用扩展匹配模式:

//$cl->SetMatchMode(SPH_MATCH_EXTENDED);

//$res=cl->Query( '@title (测试)' , "*");

//$res=cl->Query( '@title (测试) @content ('网络')' , "*");

echo '<pre>';

print_r($res['matches']);

print_r($res);

print_r($cl->GetLastError());

print_r($cl->GetLastWarning());

echo '</pre>';

?>

###############################################################################

:wq!  #保存退出

/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all --rotate  #建立索引服务

/usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csft_mysql.conf --console  #启动测试模式

/usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csft_mysql.conf   #后台启动模式

/usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csft_mysql.conf  --stop  #停止

/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all --rotate  #更新索引服务

打开浏览器测试:如下图所示

http://192.168.21.127/test.php

Linux下PHP+MySQL+CoreSeek中文检索引擎配置

http://192.168.21.127/test_coreseek.php

Linux下PHP+MySQL+CoreSeek中文检索引擎配置

四、设置coreseek开机自动后台运行

vi /etc/rc.d/rc.local #编辑,在最后一行添加下面的代码

/usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csft_mysql.conf

:wq!  #保存退出

vi /usr/local/coreseek/bin/build_index.sh  #添加以下更新索引脚本

#!/bin/sh

/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all --rotate

:wq!  #保存退出

chmod +x /usr/local/coreseek/bin/build_index.sh  #添加脚本执行权限

vi /etc/crontab    #编辑,在最后一行添加以下代码

*/30 * * * * root /usr/local/coreseek/bin/build_index.sh  #每隔30分钟执行一次

:wq!  #保存退出

service crond reload  #重新加载任务计划

php页面调用 远程调用 记得把服务器9312端口允许访问

<html>
<head>
<meta http-equiv="content-type" content="text/html;charset=gbk" />
<title>coreseek中文全文搜索在php程序中的应用</title>
</head>
<body>
<h3><font color="blue">coreseek全文搜索在php程序中应用</font></h3>
<form action="test2.php" method="post">
输入搜索的关键词:<input type="text" name="keyword" size="30" <?php echo $_POST['keyword'];?> />
<input type="submit" name="sub" value="搜索" />
</form>
<hr />
<?php
echo "<pre />";
#引入接口文件,其实你懂的,就是一个类
require_once('sphinxapi.php');
if(isset($_POST['sub']) && $_POST['keyword'] != ''){
$keyword = trim($_POST['keyword']); //接收关键词
$sph = new SphinxClient(); //实例化 sphinx 对象
$sph->SetServer('23.27.157.36',9312); //连接9312端口
$sph->SetMatchMode(SPH_MATCH_ALL); //设置匹配方式
$sph->SetSortMode(SPH_SORT_RELEVANCE); //查询结果根据相似度排序
$sph->SetArrayResult(false); //设置结果返回格式,true以数组,false以PHP hash格式返回,默认为false
/**
*关键词高亮显示,以及产生文本摘要
*BuildExcerpts($docs, $index, $words, $opts=array())
*参数(包含文档内容的数组,索引名,关键词,高亮参数)
**/
$opts = array(
"before_match" => "<font color='red'>", //关键词高亮开始的html代码
"after_match" => "</font>", //关键词高亮结束的html代码
"limit" => 100, //摘要最多包含的符号数,默认256
"around" => 3, //每个关键词左右选取的词的数目,默认为5
);
$result = $sph->Query($keyword,'mysql');//执行搜索操作,参数(关键词,[索引名]) if(!array_key_exists('matches', $result)){ //如果没有匹配结果,直接返回
echo "搜索无结果";
return;
}
$arr_key = array_keys($result['matches']);
//获取到匹配文章的ID
$ids = implode(',',$arr_key); //数组转成字符串
echo "<font color='blue'>按相关性排序id(结果数:",count($arr_key),"):</font>",$ids,"<hr />"; //连接数据库
$conn=@mysql_connect('localhost','root','root') or die("db info error!");
$db=@mysql_select_db('zhi11416316',$conn) or die('dbname error');
mysql_query("SET NAMES UTF8"); //设定编码方式为UTF8
$query = "select id,product_name from products where id in(".$ids.")";
$res=mysql_query($query);
echo "<table border='1' bordercolor='green' cellspacing='0'><tr><th>文章id</th><th>标题</th></tr>";
while($row=mysql_fetch_array($res)){
// $result = $sph->BuildExcerpts($row, 'dede', $keyword, $opts);
echo "<tr><td>",$row[0],"</td><td>",$row[1],"</td></tr>";
}
//搜索词没有高亮显示
/* while($row = $res->fetch_assoc()){
echo "<tr><td>",$row['typeid'],"</td><td>",$row['id'],"</td><td>",$row['title'],"</td><td>",$row['description'],"</td></tr>";
} */ //使用高亮显示代码
// while($row = $res->fetch_assoc()){
// $result = $sph->BuildExcerpts($row, 'dede', $keyword, $opts);
// if(!$res){
// die("Error:".$sph->GetLastError());
// }
// echo "<tr><td>",$result[0],"</td><td>",$result[1],"</td><td>",iconv('utf-8','gbk',$result[2]),"</td><td>",iconv('utf-8','gbk',$result[3]),"</td></tr>";
// } echo "</table>";
}
?>

至此,Linux下PHP+MySQL+CoreSeek中文检索引擎配置完成。

转载于 http://www.osyunwei.com/archives/7496.html