搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例

时间：2022-01-11 01:17:21

 一个文档包含了安装、增量备份、扩展、api调用示例，省去了查找大量文章的时间。

搭建coreseek(sphinx+mmseg3)安装


[第一步] 先安装mmseg3

[plain] view plain copy print?搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例
  1. cd /var/install  
  2. wget http://www.coreseek.cn/uploads/csft/4.0/coreseek-4.1-beta.tar.gz  
  3. tar zxvf coreseek-4.1-beta.tar.gz  
  4.   
  5. cd coreseek-4.1-beta  
  6. cd mmseg-3.2.14  
  7. ./bootstrap  
  8. ./configure --prefix=/usr/local/mmseg3  
  9. make && make install  
  10.   
  11. 遇到的问题:  
  12. error: cannot find input file: src/Makefile.in  
  13. 或者遇到其他类似error错误时...  
  14.   
  15. 解决方案：  
  16. 依次执行下面的命令，我运行'aclocal'时又出现了错误，解决方案请看下文描述  
  17.   
  18. yum -y install libtool  
  19.   
  20. aclocal  
  21. libtoolize --force  
  22. automake --add-missing  
  23. autoconf  
  24. autoheader  
  25. make clean  

安装好'libtool'继续从'aclocal'开始执行上面提到的一串命令，执行完后再运行最开始的安装流程即可。

[第二步] 安装coreseek

[plain] view plain copy print?搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例
  1. ##安装coreseek  
  2. $ cd csft-3.2.14 或者 cd csft-4.0.1 或者 cd csft-4.1  
  3. $ sh buildconf.sh                                         #输出的warning信息可以忽略，如果出现error则需要解决  
  4. $ ./configure --prefix=/usr/local/coreseek  --without-unixodbc --with-mmseg --with-mmseg-includes=/usr/local/mmseg3/include/mmseg/ --with-mmseg-libs=/usr/local/mmseg3/lib/ --with-mysql  
  5. ##如果提示mysql问题，可以查看MySQL数据源安装说明   http://www.coreseek.cn/product_install/install_on_bsd_linux/#mysql  
  6. $ make && make install  
  7. $ cd ..  
  8.   
  9.   
  10. ##命令行测试mmseg分词，coreseek搜索（需要预先设置好字符集为zh_CN.UTF-8，确保正确显示中文）  
  11. $ cd testpack  
  12. $ cat var/test/test.xml    #此时应该正确显示中文  
  13. $ /usr/local/mmseg3/bin/mmseg -d /usr/local/mmseg3/etc var/test/test.xml  
  14. $ /usr/local/coreseek/bin/indexer -c etc/csft.conf --all  
  15. $ /usr/local/coreseek/bin/search -c etc/csft.conf 网络搜索  


出现这个 xmlpipe2 support NOT compiled in. To use xmlpipe2, install missing XML libra  错误

执行以下命令：
[plain] view plain copy print?搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例
  1. yum -y install expat expat-devel  

依次安装后，从新编译coreseek，然后再生成索引，就可以通过了。

结果如下：

[plain] view plain copy print?搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例
  1. Coreseek Fulltext 4.1 [ Sphinx 2.0.2-dev (r2922)]    
  2. Copyright (c) 2007-2011,    
  3. Beijing Choice Software Technologies Inc (http://www.coreseek.com)    
  4.    
  5. using config file 'etc/csft.conf'...    
  6. index 'xml': query '网络搜索 ': returned 1 matches of 1 total in 0.000 sec    
  7.    
  8. displaying matches:    
  9. 1. document=1, weight=1590, published=Thu Apr  1 07:20:07 2010, author_id=1    
  10.    
  11. words:    
  12. 1. '网络': 1 documents, 1 hits    
  13. 2. '搜索': 2 documents, 5 hits    


下面开始sphinx与mysql的配置


创建sphinx统计表，在coreseek_test库中执行。

[sql] view plain copy print?搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例
  1. CREATE TABLE sph_counter  
  2. (  
  3.     counter_id INTEGER PRIMARY KEY NOT NULL,  
  4.     max_doc_id INTEGER NOT NULL  
  5. );  

创建配置sphinx与mysql的配置文件

[plain] view plain copy print?搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例
  1. # vi /usr/local/coreseek/etc/csft_mysql.conf  

[plain] view plain copy print?搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例
  1. #MySQL数据源配置，详情请查看：http://www.coreseek.cn/docs/coreseek_4.1-sphinx_2.0.1-beta.html#conf-reference  
  2.   
  3. #源定义  
  4. source main  
  5. {  
  6.     type                    = mysql  
  7.   
  8.     sql_host                = localhost  
  9.     sql_user                = root  
  10.     sql_pass                = 123456   
  11.     sql_db                  = coreseek_test  
  12.     sql_port                = 3306  
  13.     sql_query_pre           = SET NAMES utf8  
  14.     sql_query_pre        = REPLACE INTO sph_counter SELECT 1,MAX(id) FROM hr_spider_company;  
  15.     sql_query               = SELECT * FROM hr_spider_company WHERE id<=( SELECT max_doc_id FROM sph_counter WHERE counter_id=1 )   
  16.                                                          #sql_query第一列id需为整数  
  17.                                                          #title、content作为字符串/文本字段，被全文索引  
  18.     sql_attr_uint            = id                        #从SQL读取到的值必须为整数  
  19.     sql_attr_uint            = from_id                #从SQL读取到的值必须为整数，不支持全文检索  
  20.     sql_attr_uint            = link_id                #从SQL读取到的值必须为整数，不支持全文检索  
  21.     sql_attr_uint            = add_time                #从SQL读取到的值必须为整数，不支持全文检索  
  22.     sql_field_string         = link_url                 #字符串字段(可全文搜索，可返回原始文本信息)  
  23.     sql_field_string          = company_name          #字符串字段(可全文搜索，可返回原始文本信息)  
  24.     sql_field_string          = type_name             #字符串字段(可全文搜索，可返回原始文本信息)  
  25.     sql_field_string          = trade_name             #字符串字段(可全文搜索，可返回原始文本信息)  
  26.     sql_field_string          = email                 #字符串字段(可全文搜索，可返回原始文本信息)  
  27.     sql_field_string          = description             #字符串字段(可全文搜索，可返回原始文本信息)  
  28.   
  29.     sql_query_info_pre      = SET NAMES utf8         #命令行查询时，设置正确的字符集  
  30.     sql_query_info            = SELECT id,from_id,link_id,company_name,type_name,trade_name,address,description, FROM_UNIXTIME(add_time) AS add_time  FROM hr_spider_company  WHERE id=$id                     #命令行查询时，从数据库读取原始数据信息  
  31. }  
  32.   
  33. source delta : main    
  34. {    
  35.     sql_query_pre           = SET NAMES utf8    
  36.     sql_query               = SELECT * FROM hr_spider_company WHERE id>( SELECT max_doc_id FROM sph_counter WHERE counter_id=1 )  
  37.     sql_query_post_index    = REPLACE INTO sph_counter SELECT 1,MAX(id) FROM hr_spider_company  
  38. }    
  39.   
  40.   
  41.   
  42. #index定义  
  43. index main  
  44. {  
  45.     source                = main                         #对应的source名称  
  46.     path                  = /usr/local/coreseek/var/data/mysql     #请修改为实际使用的绝对路径，例如：/usr/local/coreseek/var/...  
  47.     docinfo               = extern  
  48.     mlock                 = 0  
  49.     morphology            = none  
  50.     min_word_len          = 1  
  51.     html_strip            = 0  
  52.   
  53.     #中文分词配置，详情请查看：http://www.coreseek.cn/products-install/coreseek_mmseg/  
  54.     charset_dictpath     = /usr/local/mmseg3/etc/          #BSD、Linux环境下设置，/符号结尾  
  55.     charset_type        = zh_cn.utf-8  
  56. }  
  57.   
  58. index delta : main    
  59. {    
  60.     source          = delta    
  61.     path            = /usr/local/coreseek/var/data/delta   
  62. }  
  63.   
  64.   
  65. #全局index定义  
  66. indexer  
  67. {  
  68.     mem_limit            = 128M  
  69. }  
  70.   
  71. #searchd服务定义  
  72. searchd  
  73. {  
  74.     listen              = 9312  
  75.     read_timeout        = 5  
  76.     max_children        = 30  
  77.     max_matches         = 1000  
  78.     seamless_rotate     = 0  
  79.     preopen_indexes     = 0  
  80.     unlink_old          = 1  
  81.     pid_file         = /usr/local/coreseek/var/log/searchd_mysql.pid   #请修改为实际使用的绝对路径，例如：/usr/local/coreseek/var/...  
  82.     log             = /usr/local/coreseek/var/log/searchd_mysql.log        #请修改为实际使用的绝对路径，例如：/usr/local/coreseek/var/...  
  83.     query_log         = /usr/local/coreseek/var/log/query_mysql.log    #请修改为实际使用的绝对路径，例如：/usr/local/coreseek/var/...  
  84.     binlog_path     =                                              #关闭binlog日志  
  85. }  

我的测试表名为hr_spider_company，你只需要根据实际需求更改为自己的表名即可。

调用命令列表：

启动后台服务（必须开启）
[plain] view plain copy print?搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例
  1. # /usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csft_mysql.conf  

执行索引（查询、测试前必须执行一次）
[plain] view plain copy print?搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例
  1. /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all --rotate  

执行增量索引
[plain] view plain copy print?搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例
  1. /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf delta --rotate  

合并索引
[plain] view plain copy print?搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例
  1. /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --merge main delta --rotate --merge-dst-range deleted 0 0  

(为了防止多个关键字指向同一个文档加上--merge-dst-range deleted 0 0)

后台服务测试
[plain] view plain copy print?搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例
  1. # /usr/local/coreseek/bin/search -c /usr/local/coreseek/etc/csft_mysql.conf  aaa  

关闭后台服务
[plain] view plain copy print?搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例
  1. # /usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csft_mysql.conf --stop  

自动化命令：

[plain] view plain copy print?搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例
  1. crontab -e  

[plain] view plain copy print?搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例
  1. */1 * * * * /bin/sh /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf delta --rotate  
  2. */5 * * * * /bin/sh /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --merge main delta --rotate --merge-dst-range deleted 0 0  
  3. 30 1 * * *  /bin/sh /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all --rotate  

以下任务计划的意思是：每隔一分钟执行一遍增量索引，每五分钟执行一遍合并索引，每天1:30执行整体索引。

Sphinx扩展安装安装


Coreseek官方教程中建议php使用直接include一个php文件进行操作，事实上php有独立的sphinx模块可以直接操作coreseek(coreseek就是sphinx！)已经进入了php的官方函数库，而且效率的提升不是一点点！但php模块依赖于libsphinxclient包。

[第一步] 安装依赖libsphinxclient

[plain] view plain copy print?搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例
  1. # cd /var/install/coreseek-4.1-beta/csft-4.1/api/libsphinxclient/  
  2. # ./configure  --prefix=/usr/local/sphinxclient  
  3.   
  4. configure: creating ./config.status  
  5. config.status: creating Makefile  
  6. config.status: error: cannot find input file: Makefile.in   #报错configure失败      
  7.   
  8. //处理configure报错  
  9. 编译过程中报了一个config.status: error: cannot find input file: src/Makefile.in这个的错误，然后运行下列指令再次编译就能通过了：  
  10. # aclocal  
  11. # libtoolize --force  
  12. # automake --add-missing  
  13. # autoconf  
  14. # autoheader  
  15. # make clean  
  16.   
  17. //从新configure编译  
  18. # ./configure  
  19.   
  20. # make && make install  

[第二步] 安装sphinx的PHP扩展

[plain] view plain copy print?搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例
  1. http://pecl.php.net/package/sphinx  
  2. # wget http://pecl.php.net/get/sphinx-1.3.0.tgz  
  3. # tar zxvf sphinx-1.3.0.tgz  
  4. # cd sphinx-1.3.0  
  5. # phpize  
  6. # ./configure --with-php-config=/usr/bin/php-config --with-sphinx=/usr/local/sphinxclient  
  7. # make && make install  
  8. # cd /etc/php.d/  
  9. # cp gd.ini  sphinx.ini  
  10. # vi sphinx.ini  
  11.   
  12. extension=sphinx.so  
  13.   
  14. # service php-fpm restart  

打开phpinfo看一下是否已经支持了sphinx模块。

php调用sphinx示例：


[php] view plain copy print?搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例
  1. <?php  
  2.     $s = new SphinxClient;  
  3.     $s->setServer("127.0.0.1", 9312);  
  4.   
  5.     $s->setMatchMode(SPH_MATCH_PHRASE);  
  6.     $s->setMaxQueryTime(30);  
  7.     $res = $s->query("宝马",'main'); #[宝马]关键字，[main]数据源source  
  8.     $err = $s->GetLastError();  
  9.     var_dump(array_keys($res['matches']));  
  10.     echo "<br>"."通过获取的ID来读取数据库中的值即可。"."<br>";  
  11.       
  12.     echo '<pre>';  
  13.     var_dump($res);  
  14.     var_dump($err);  
  15.     echo '</pre>';  


调用示例二：支持分页

[plain] view plain copy print?搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例搭建coreseek(sphinx+mmseg3)详细安装配置+php之sphinx扩展安装+php调用示例
  1. <?php  
  2.     header("Content-type: text/html; charset=utf-8");  
  3.     require("./sphinxapi.php");  
  4.     $s = new SphinxClient;  
  5.     $s->setServer("192.168.252.132", 9312);  
  6.       
  7.     //SPH_MATCH_ALL, 匹配所有查询词(默认模式); SPH_MATCH_ANY, 匹配查询词中的任意一个; SPH_MATCH_EXTENDED2, 支持特殊运算符查询  
  8.     $s->setMatchMode(SPH_MATCH_ALL);  
  9.     $s->setMaxQueryTime(30);                                     //设置最大搜索时间  
  10.     $s->SetArrayResult(false);                                       //是否将Matches的key用ID代替  
  11.     $s->SetSelect ( "*" );                                           //设置返回信息的内容,等同于SQL  
  12.     $s->SetRankingMode(SPH_RANK_BM25);                               //设置评分模式，SPH_RANK_BM25可能使包含多个词的查询的结果质量下降。   
  13.     //$s->SetSortMode(SPH_SORT_EXTENDED);                            //发现增加此参数会使结果不准确  
  14.     //$s->SetSortMode(SPH_SORT_EXTENDED,"from_id asc,id desc");      //设置匹配项的排序模式, SPH_SORT_EXTENDED按一种类似SQL的方式将列组合起来，升序或降序排列。  
  15.     $weights = array ('company_name' => 20);  
  16.     $s->SetFieldWeights($weights);                                   //设置字段权重  
  17.     $s->SetLimits ( 0, 30, 1000, 0 );                                //设置结果集偏移量  SetLimits (便宜量,匹配项数目,查询的结果集数默认1000,阀值达到后停止)  
  18.     //$s->SetFilter ( $attribute, $values, $exclude=false );     //设置属性过滤  
  19.     //$s->SetGroupBy ( $attribute, $func, $groupsort="@group desc" );    //设置分组的属性  
  20.     $res = $s->query('@* "汽车"','main','--single-0-query--'); #[宝马]关键字，[news]数据源source  
  21.       
  22.       
  23.     //代码高亮  
  24.     $tags = array();  
  25.     $tags_name = array();  
  26.     foreach($res['matches'] as $key=>$value){  
  27.         $tags[] = $value['attrs'];  
  28.         $company_name[] = $value['attrs']['company_name'];  
  29.         $description[] = $value['attrs']['description'];  
  30.     }  
  31.     $company_name = $s->BuildExcerpts ($company_name, 'main', '汽车', $opts=array() );     //执行高亮，这里索引名字千万不能用*  
  32.     $description = $s->BuildExcerpts ($description, 'main', '汽车', $opts=array() );       //执行高亮，这里索引名字千万不能用*  
  33.     foreach($tags as $k=>$v)  
  34.     {  
  35.         $tags[$k]['company_name'] = $company_name[$k];  //高亮后覆盖  
  36.         $tags[$k]['description'] = $description[$k];    //高亮后覆盖  
  37.     }  
  38.       
  39.     // 高亮后覆盖  
  40.     $i = 0;  
  41.     foreach($res['matches'] as $key=>$value){  
  42.         $res['matches'][$key] = $tags[$i];  
  43.         $i++;  
  44.     }  
  45.       
  46.     $err = $s->GetLastError();  
  47.       
  48.     echo '<pre>';  
  49.     var_export($res);  
  50.     var_export($err);  
  51.     echo '</pre>';  

还有很对地方需要参考：http://www.coreseek.cn/docs/coreseek_4.1-sphinx_2.0.1-beta.html#api-reference
标签：

相关文章