coreeek 和 sphinx 的配置与使用

前言

关于 sphinx 的安装请参考 Sphinx 安装记录.
关于 coreeek 的安装请参考 coreseek 安装记录.

sphinx 和 coreeek 安装好后，是可以搜索出满意的结果了，凡是有一个问题：对于新增的数据，我们需要在 sphinx 中重建索引。
又由于旧的数据量是很大的，所以重建索引是很费时间的，所有如果数据不需要实时同步，那么每天晚上定时重建一下就行了。
如果需要实时同步，比如几分钟内就要搜索生效，那么就需要使用增量索引了。
然后再在晚上闲时合并增量索引和主索引。

关于配置

在 sphinx 中，需要配置两个数据源和两个索引， 一个是主索引，另一个是增量索引，而且增量索引需要继承于主索引。

由于我们的索引会在指定时间合并，所以在下次合并索引之前，我们增量索引需要做的就是重建上次合并索引之后改变或新增的数据。

所有我们需要一个辅助表来记录上次修改的时间，用于增量索引使用。

辅助表 结构很简单，只有一个字段上次合并的时间，而且永远只有一条记录。

1. CREATE TABLE t_blog_time_sphinx
2. (
3. c_id INTEGER PRIMARY KEY NOT NULL,
4. c_time DATETIME NOT NULL
5. );

关于 sphinx 的配置如下

1. # 主数据源
2. source main_source
3. {
4. type = mysql
6. sql_host = 127.0.0.1
7. sql_user = test
8. sql_pass = test
9. sql_db = test
10. sql_port = 3306
12. sql_query_pre= SET NAMES utf8
13. sql_query = select c_id,c_title,c_content,c_year,c_month,c_day,c_modifytime,c_createtime FROM t_blog_sphinx;
15. sql_attr_uint = c_year
16. sql_attr_uint = c_month
17. sql_attr_uint = c_day
18. sql_attr_timestamp = c_modifytime
19. sql_attr_timestamp = c_createtime
20. sql_field_string = c_title
21. sql_field_string = c_content
22. }
24. # 增量数据源
25. source main_inc_source : main_source
26. {
27. sql_query_pre = SET NAMES utf8
28. sql_query = select c_id,c_title,c_content,c_year,c_month,c_day,c_modifytime,c_createtime FROM t_blog_sphinx where c_modifytime > ( SELECT c_time FROM t_blog_time_sphinx limit 1 );
30. }
32. # 主索引
33. index main_index
34. {
35. source = main_source
36. path = /usr/local/coreseek4/var/data/main_index
37. docinfo = extern
38. charset_type = zh_cn.utf-8
39. charset_dictpath = /usr/local/mmseg3/etc/
40. ngram_len = 0
41. }
43. # 增量索引
44. index main_inc_index : main_index
45. {
46. source = main_inc_source
47. path = /usr/local/coreseek4/var/data/main_inc_index
48. }
50. # 索引程序
51. indexer
52. {
53. mem_limit = 32M
54. }
56. # 守护程序
57. searchd
58. {
59. listen = 9312
60. listen = 9306:mysql41
61. log = /usr/local/coreseek4/var/log/searchd.log
62. query_log = /usr/local/coreseek4/var/log/query.lo
63. client_timeout= 300
64. read_timeout = 5
65. max_children = 30
66. pid_file = /usr/local/coreseek4/var/log/searchd.pid
67. max_matches = 1000
68. seamless_rotate = 1
69. preopen_indexes = 1
70. unlink_old = 1
71. mva_updates_pool= 1M
72. max_packet_size= 8M
73. max_filters= 256
74. max_filter_values= 4096
75. max_batch_queries= 32
76. workers = threads # for RT to work
77. }

启动 sphinx

第一步是辅助表中插入一个时间

1. INSERT INTO t_blog_time_sphinx (c_time)VALUES(now());

第二步是创建主索引和增量索引

1. /usr/local/coreseek4/bin/indexer main_index
2. /usr/local/coreseek4/bin/indexer main_inc_index

第三部是启动守护程序

1. /usr/local/coreseek4/bin/searchd

定时任务

定时任务需要做的有这么几件事。

1. 实时重建当天的索引(增量索引)
2. 晚上合并增量索引到主索引
3. 更新辅助表的时间为当前时间(一般减去若干分钟，来使数据有几分钟的冗余，避免遗漏数据)

1. # 增量索引
2. /usr/local/coreseek4/bin/indexer t_cover_sphinx_inc_index --rotate
4. # 合并
5. /usr/local/coreseek4/bin/indexer --merge t_cover_sphinx_index t_cover_sphinx_inc_index --rotate
7. # 修改辅助表上次的合并时间
8. update t_blog_time_sphinx set c_time = now() - 10*60;

php 测试程序

在 coreseek 的测试目录下可以找到 sphinxapi.php 文件，复制到你的 php 源代码对应的位置。

关于全文索引字段的组装格式，可以参考 官方文档

1. //加入 sphinx api
2. include('api/coreseek_sphinxapi.php');
4. //初始化 sphinx
5. $sphinx = new SphinxClient();
6. $sphinx->setServer($ip, $port);
9. //设置属性字段
10. if(isset($_GET["year"]) && strlen($_GET["year"]) > 0){
11. $sphinx->SetFilter("c_year", array($_GET["year"]));
12. }
14. //设置全文检索字段
15. $query = "";
17. if(isset($_GET["title"]) && strlen($_GET["title"]) > 0){
18. $query .= "|" . trim($_GET["title"]);
19. }
21. if(isset($_GET["content"]) && strlen($_GET["content"]) > 0){
22. $query .= "|" . trim($_GET["content"]);
23. }
25. $query = trim($query);
27. //开始搜索，索引必须是主索引和增量索引
28. $res = $sphinx->query($query, 'main_inc_index,main_index');
30. echo "<p>query = $query </p>";
32. //输出结果，其中 GetLastError 和 GetLastWarning 用于调试。
33. echo "<pre>";
34. print_r($sphinx->GetLastError());
35. print_r($sphinx->GetLastWarning ());
36. print_r($res);
37. echo "</pre> ";