前一阵子尝试使用了一下 Sphinx ，一个能够被各种语言 (PHP/Python/R y/etc)方便调用的全文检索系统。网上的资料大多是在 linux 环境下的安装使用，当然，作为生产环境很有必要部署在 *nix环境下，作为学习测试，还是 windows 环境比较方便些。
本文旨在提供一种便捷的方式让 Sphinx 在 windows 下安装配置以支持中文全文检索，配置部分在 linux下通用。
一、关于 Sphinx
Sphinx 是一个在 GPLv2 下发布的一个全文检索引擎，商业授权（例如 , 嵌入到其他程序中）需要联系作者（Sphinxsearch.com ）以获得商业授权。
一般而言， Sphinx 是一个独立的搜索引擎，意图为其他应用提供高速、低空间占用、高结果相关度的全文搜索功能。 Sphinx可以非常容易的与 SQL 数据库和脚本语言集成。
当前系统内置 MySQL 和 PostgreSQL 数据库数据源的支持，也支持从标准输入读取特定格式的 XML数据。通过修改源代码，用户可以自行增加新的数据源（例如：其他类型的 DBMS 的原生支持）。
搜索 API 支持 PHP 、 Python 、 Perl 、 R y 和 Java ，并且也可以用作 MySQL存储引擎。搜索 API 非常简单，可以在若干个小时之 内移植到新的语言上。
Sphinx 特性：
高速的建立索引 ( 在当代 CPU 上，峰值性能可达到 10MB/ 秒 );
高性能的搜索 ( 在 2–4GB 的文本数据上，平均每次检索响应时间小于 0.1 秒 );
可处理海量数据 ( 目前已知可以处理超过 100GB 的文本数据 , 在单一 CPU 的系统上可处理 100M 文档 );
提供了优秀的相关度算法，基于短语相似度和统计（ BM25 ）的复合 Ranking 方法 ;
支持分布式搜索 ;
提供文件的摘录生成 ;
可作为 MySQL 的存储引擎提供搜索服务 ;
支持布尔、短语、词语相似度等多种检索模式 ;
文档支持多个全文检索字段 ( 最大不超过 32 个 );
文档支持多个额外的属性信息 ( 例如：分组信息，时间戳等 );
停止词查询 ;
支持单一字节编码和 UTF-8 编码 ;
原生的 MySQL 支持 ( 同时支持 MyISAM 和 InnoDB);
原生的 PostgreSQL 支持 .
二、 Sphinx 在 windows 上的安装
1. 直接在 http://www.sphinxsearch.com/downloads.html找 到最新的 windows 版本，我这里下的是 Win32 release binaries with MySQL support，下载后解压在 D:\sphinx 目录下；
2. 在 D:\sphinx\ 下新建一个 data 目录用来存放索引文件， 一个 log 目录方日志文件，复制D:\sphinx\sphinx.conf.in 到 D:\sphinx\bin\sphinx.conf （注意修改文件名）；
3. 修改 D:\sphinx\bin\sphinx.conf ，我这里 列出需要修改的几个：
type
sql_host
sql_user
sql_pass
sql_db
sql_port
sql_qry_pre
index test1
{
# 放索引的目录
# 编码
# 需要分词的字符，如果要搜索中文，去掉前面的注释
}
# 搜索服务需要修改的部分
searchd
{
# PID file, searchd process ID file name
# windows 下启动searchd 服务一定要注释掉这个
}
4. 导入测试数据
sql 文件在 D:/sphinx/example.sql
C:\Program Files\MySQL\MySQL Server 5.0\bin>mysql-uroot test<d:/sphinx/example.sql
5. 建立索引
D:\sphinx\bin>indexer.exe test1 ( 备注 :test1 为sphinx.conf 的 index test1() )
Sphinx 0.9.8-release (r1533)
Copyright (c) 2001-2008, Andrew Aksyonoff
using config file ‘./sphinx.conf’…
indexing index ‘test1′…
collected 4 docs, 0.0 MB
sorted 0.0 Mhits, 100.0% done
total 4 docs, 193 bytes
total 0.101 sec, 1916.30 bytes/sec, 39.72 docs/sec
D:\sphinx\bin>
6. 搜索 ’test’ 试试
D:\sphinx\bin>search.exe test1
显示结果如下
using config file ‘./sphinx.conf’…
index ‘test1′: qry ‘test ‘: returned 3 matches of 3 total in 0.000sec
displaying matches:
1. document=1, weight=2, group_id=1, date_added=Wed Nov 26 14:58:592008
id=1
group_id=1
group_id2=5
date_added=2008-11-26 14:58:59
title=test one
content=this is my test document number one. also checking searchwithin
phrases.
2. document=2, weight=2, group_id=1, date_added=Wed Nov 26 14:58:592008
id=2
group_id=1
group_id2=6
date_added=2008-11-26 14:58:59
title=test two
content=this is my test document number two
3. document=4, weight=1, group_id=2, date_added=Wed Nov 26 14:58:592008
id=4
group_id=2
group_id2=8
date_added=2008-11-26 14:58:59
title=doc number four
content=this is to test groups
words:
1. ‘test’: 3 documents, 5 hits
D:\sphinx\bin>
6. 测试中文搜索
修改 test 数据库中 documents 数据表，
UPDATE `test`.`documents` SET `title` = ‘ 测试中文 ’, `content` =‘this is my test document number two ，应该搜的到吧 ’ WHERE`documents`.`id` = 2;
重建索引：
D:\sphinx\bin>indexer.exe test1
搜索 ’ 中文 ’ 试试：
D:\sphinx\bin>search.exe 中文
Sphinx 0.9.8-release (r1533)
Copyright (c) 2001-2008, Andrew Aksyonoff
using config file ‘./sphinx.conf’…
index ‘test1′: qry ‘ 中文 ‘: returned 0 matches of 0 total in 0.000sec
words:
D:\sphinx\bin>
貌似没有搜到，这是因为 windows 命令行中的编码是 gbk ，当然搜不出来。我们可以用程序试试，在D:\sphinx\api 下新建一个 foo.php 的文件，注意 utf-8 编码
<?php
require ’sphinxapi.php’;
$s = new SphinxClient();
$s->SetServer(’localhost’,9312);
$result = $s->Qry(’ 中文 ’);
var_dump($result);
?>
启动 Sphinx searchd 服务
D:\sphinx\bin>searchd.exe
Sphinx 0.9.8-release (r1533)
Copyright (c) 2001-2008, Andrew Aksyonoff
WARNING: forcing –console mode on Windows
using config file ‘./sphinx.conf’…
creating server socket on 0.0.0.0:9312
accepting connections
执行 PHP 查询：
访问 http://www.test.com/sphinx/api/foo.php( 自己配置的虚拟主机 )
使用 CORESEEK 分词
1 、下载 http://www.coreseek.cn/news/5/89/
2 、安装系统依赖的软件包
系统的基础组件需要如下的软件包：
安装完前面两个组件后，系统可以运行，但是需要手工修改配置文件。
安装配置界面需要的软件包：
- gtk-dev 2.12.9 (http://sourceforge.net/project/showfiles.php?group_id=98754) 验证可以不装
如果您下载的是完整版，前面提到的全部文件应该能在preq 子目录中找到。
安装前面提到的全部软件包（注意：必须先安装Python 和gtk)
注意: 必须是Active Python ，Python 官方的版本缺少系统需要的Win32扩展支持，将导致系统无法工作。
注意： 完成本步后，必须重新启动您的计算机。
3 、解压 csft 到你认为的目录
4 、csft 文件内配与 sphinx 的内容大致相同 ( 配置详细见:sphinx+mysql (1) , (2))
5 、创建词典文件
\bin\mmseg -u\data\unigram.txt
·
6 、导入sample.sql 数据库
7 、建立索引 index.exe --all
以下分支说明如下
---------------------------------------------------------------
A ：
8 、安装SPHINXSE FOR MYSQL
http://www.sphinxsearch.com/downloads/mysql-5.0.45-sphinxse-0.9.8-win32.zip
下载后，解压然后覆盖MYSQL 目录，就OK 。 ( 注意mysql 版本必须相同)
进入mysql 运行 show engines; 查看表的类型是否存在 sphinx
9 、创建Sphinx 存储引擎表
CREATE TABLE `sphinx` (
`id` int(11) NOT NULL,
`weight` int(11) NOT NULL,
`qry` varchar(255) NOT NULL,
`group_id` int(11) NOT NULL,
KEY `Qry` (`Qry`)
) ENGINE=SPHINX CONNECTION='sphinx://localhost:3312/test1';
与 一般mysql 表不同的是ENGINE=SPHINXCONNECTION='sphinx://localhost:3312/test1'; ，这里表示这个表采用SPHINXSE引擎，与sphinx 的连接串是'sphinx://localhost:3312/test1 ，test1 是索引名称
根据sphinx官方说明，这个表必须至少有三个字段，字段起什么名称无所谓，但类型的顺序必须是integer,integer,varchar，分别表示记录标识document ID, 匹配权重weight 与查询qry ，同时document ID 与qry必须建索引。另外这个表还可以建立几个字段，这几个字段的只能是integer 或TIMESTAMP 类型，字段是与sphinx的结果集绑定的，因此字段的名称必须与在sphinx.conf 中定义的属性名称一致，否则取出来的将是Null 值。
10 、MySQL SphinxSE 全文检索存储引擎SQL 语句使用方法
安装SphinxSE 存储引擎后首先需新建一张特殊的指定"ENGINE=SPHINX" 检索表，如下：
CREATE TABLE ArticleFulltext (
) ENGINE=SPHINX CONNECTION="sphinx://localhost:3312/test";
·
·
·
·
·
·
FROM Article, ArticleFulltext
WHERE ArticleFulltext.ID = Article.ID and Qry = ' 博客'
AND P lishTime > '2007-03-01' AND ReferCount> 0
ORDER BY Weight * 0.5 + ReferCount * 0.5;
·
·
11, 将SPHINX 生成WINDOWS 服务
searchd --install --config "csft.conf"
12. 启动服务 net start |searchd( 或者其它服务名)
---------------------------------------------------------------
B ：
配置sphinx.conf 文件，支持中文编码
charset_type = zh_cn.utf-8
charset_dictpath =D:\csft3.1\bin
min_infix_len = 0
平台是在windows2003,sphinx-0.9.8,my5.0
初学者来说，想成功查询，可能遇到几个问题。
启动searchd.exe时。
1、FATAL: no readable config file(looked in./sphinx.conf)
找不到sphinx.conf。
解决办法:E:\sphinx\bin>searchd --confige:/sphinx/sphinx.conf(需要写入绝对路径)
2、SELECT * FROM sphinx WHEREQry='groups';
提示该问题。Unable to connect to foreigndata source: failed to connect to
searchd (host=localhost, port=3312)
解决办法:命令行，运行E:\sphinx\bin>searchd --confige:/sphinx/sphinx.conf(需要写入绝对路径)
3、SELECT * FROM sphinx WHEREQry='groups';
提 示该问题。There was a problem processingthe qry on the foreign data source. Data source error: bad searchdresponse length (length=775173376)
解决办法：
在创建专业表时，例如：
CREATE TABLE `sphinx` (
) ENGINE=SPHINX DEFAULT CHARSET=utf8CONNECTION='sphinx://localhost:3306/cgfinal';
连接CONNECTION不是3306端口，而是3312端口。