理解全文本搜索

  • 并非所有引擎都支持全文本搜索:MySQL支持几种基本的数据库引擎。

    两个最常使用的引擎为MyISAM和InnoDB,前者支持全文本搜索,后者不支持。

  • 使用LIKE,能够查找包含特殊值或部分值得行(不管这些值位于列内什么位置)。

    正则表达式,可以编写查找所需行的非常复杂的匹配模式。

    虽然这些搜索机制非常有用,但存在几个重要的限制:

    1. 性能——通配符和正则表达式匹配通常要求MySQL尝试匹配表中所有行(而且这些搜索极少使用表索引)。因此,由于被搜索行数不断增加,这些搜索可能非常耗时。
    2. 明确控制——使用通配符和正则表达式匹配,很难(而且并不总是能)明确的控制匹配什么和不匹配什么。例如,指定一个词必须匹配,一个词必须不匹配,而一个词仅在第一个词确实匹配的情况下才可以匹配或者才可以不匹配。
    3. 智能化的结果——虽然基于通配符和正则表达式的搜索提供了非常灵活的搜索,但他们都不能提供一种智能化的选择结果的方法。例如,一个特殊词的搜索将会返回包含该词的所有行,而不区分包含单个匹配的行和包含多个匹配的行(按照可能是更好的匹配来排列他们)。
  • 使用全文本搜索时,MySQL不需要分别查看每个行,不需要分别分析和处理每个词。MySQL创建指定列中各词的一个索引,搜索可以针对这些词进行。这样,MySQL可以快速有效的决定哪些词匹配(哪些行包含他们),哪些词不匹配,他们的匹配频率等等。

使用全文本搜索

  • 为了进行全文本搜索,必须索引被搜索的列,而且要随着数据的改变不断的重新索引。

    在对表列进行适当设计后,MySQL会自动进行所有的索引和重新索引。

    在索引之后,SELECT可与Match()Against()一起使用以实际执行搜索。

启用全文本搜索支持

  • 一般在创建表时启用全文本搜索。CREATE TABLE()语句接受FULLTEXT子句,它给出被索引列的一个逗号分隔的列表。
1
2
3
4
5
6
7
8
9
CREATE TABLE productnotes
(
note_id int NOT NULL AUTO_INCREMENT,
prod_id char(10) NOT NULL,
note_data datatime NOT NULL,
note_text text NULL,
PRIMARY KEY(note_id),
FULLTEXT(note_text)
) ENGINE = MyISAM;
  • 在定义之后,MySQL自动维护该索引。在增加、更新或删除行时,索引随之自动更新。

  • 可以在创建表时指定FULLTEXT,或者在稍后指定(在这种情况下所有已有数据必须立即索引)。

  • 不要在导入数据时使用FULLTEXT:更新索引要花时间,虽然不是很多,但毕竟要花时间。

    如果正在导入数据到一个新表,此时不应该启用FULLTEXT索引。应该首先导入所有数据,然后再修改表,定义FULLTEXT。这样有助于更快的导入数据(而且使索引数据的总时间小于在导入每行时分别进行索引所需的总时间)。

进行全文本搜索

  • 在索引之后,使用两个函数Match()Against()执行全文本搜索。

    其中Match()指定被搜索的列,Against()指定要使用的搜索表达式。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
/*
Match(note_text)指示MySQL针对指定的列搜索。
Against('rabbit')指定词rabbit作为搜索文本。
由于有两行包含词rabbit,这两行被返回。
*/
SELECT note_text
FROM productnotes
WHERE Match(note_text) Against('rabbit');

-- 以上搜索可以简单的用LIKE子句完成
SELECT note_text
FROM productnotes
WHERE note_text LIKE '%rabbit%';

/*
后者(使用LIKE)以不特别有用的顺序返回数据。
前者(使用全文本搜索)返回以文本的良好程度排序的数据:
两个行都包含词rabbit,但包含词rabbit作为第3个词的行的等级比作为第20个词的行高。
*/
  • 使用完整的Match()说明:传递给Match()的值必须与FULLTEXT()定义中的相同。

    如果指定多个列,则必须列出他们(而且次序正确)。

  • 搜索不区分大小写:除非使用BINARY方式,否则全文本搜索不区分大小写。

  • 全文本搜索的一个重要部分就是对结果排序。具有较高等级的行先返回(因为这些行很可能是你真正想要的行)。

  • 等级由MySQL根据行中词的数目、唯一词的数目、整个索引中词的总数以及包含该词的行的数目计算出来。

    文本中词靠前的行的等级值比词靠后的行的等级值高。

  • 排序多个搜索项:如果指定多个搜索项,则包含多数匹配词的那些行将具有比包含较少词(或仅有一个匹配)的那些行高的等级值。

  • 全文本搜索提供了简单LIKE搜索不能提供的功能。而且由于数据是索引的,全文本搜索相当快。

使用查询扩展

  • 查询扩展用来设法放宽所返回的全文本搜索结果的范围。
  • 使用查询扩展时,MySQL对数据和索引进行两遍扫描来完成搜索:
    1. 首先,进行一个基本的全文本搜索,找出与搜索条件匹配的所有行;
    2. 其次,MySQL检查这些匹配行并选择所有有用的词;
    3. 再其次,MySQL再次进行全文本搜索,这次不仅使用原来的条件,而且还使用所有有用的词。
  • 利用查询扩展,能找出可能相关的结果,即使他们并不精确包含所查找的词。
  • 只适用于MySQL 4.1.1或更高级的版本:查询扩展功能是在MySQL 4.1.1中引入的,不能用于之前的版本。
1
2
3
4
5
6
7
8
9
10
SELECT note_text
FROM productnotes
WHERE Match(note_text) Against('anvils' WITH QUERY EXPANSION);

/*
此查询会返回7行。
第一行包含词anvils,等级最高;
第二行与anvils无关,但因为它包含第一行中的两个词(customer和recommend),所以也被检索出来;
第三行也包含这两个相同的词,但他们在文本中的位置更靠后且分开的更远。
*/
  • 行越多越好:表中的行越多(这些行中的文本就越多),使用查询扩展返回的结果越好。

布尔文本搜索

  • MySQL支持全文本搜索的另外一种形式,称为布尔方式。

    以布尔方式,可以提供如下内容的细节:

    1. 要匹配的词;
    2. 要排斥的词(如果某行包含这个词,则不返回该行,即使它包含其他指定的词也是如此);
    3. 排列提示(指定某些词比其他词更重要,更重要的词等级更高);
    4. 表达式分组;
    5. 另外一些内容。
  • 即使没有FULLTEXT索引也可以使用:即使没有定义FULLTEXT索引,也可以使用它。

    但这是一种非常缓慢的操作(其性能将随着数据量的增加而降低)。

1
2
3
4
5
6
-- 全文本搜索检索包含词heavy的所有行(有两行)
SELECT note_text
FROM productnotes
WHERE Match(note_text) Against('heavy' IN BOOLEAN MODE);

-- 实际上没有指定布尔操作符,结果与没有指定布尔方式的结果相同
  • IN BOOLEAN MODE的行为差异:虽然这个例子的结果与没有IN BOOLEAN MODE的相同,但其行为有一个重要的差别,下一小节会指出。
1
2
3
4
-- 匹配包含heavy但不包含任意以rope开始的词的行
SELECT note_text
FROM productnotes
WHERE Match(note_text) Against('heavy -rope*' IN BOOLEAN MODE);
  • 在MySQL 4.x中所需的代码更改:如果使用的是MySQL 4.x,则上面的例子可能不返回任何行。这是*操作符处理中的一个错误。为在MySQL 4.x中使用这个例子,使用-ropes而不是-rope*(排除ropes而不是排除任何以rope开始的词)。
布尔操作符说明
+包含,词必须存在
-排除,词必须不出现
>包含,而且增加等级值
<包含,且减少等级值
()把词组成子表达式(允许这些子表达式作为一个组被包含、排除、排列等)
~取消一个词的排序值
*词尾的通配符
""定义一个短语(与单个词的列表不一样,它匹配整个短语以便包含或排除这个短语)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
-- 搜索匹配包含词rabbit和bait的行
SELECT note_text
FROM productnotes
WHERE Match(note_text) Against('+rabbit +bait' IN BOOLEAN MODE);

-- 没有指定操作符,搜索匹配包含rabbit和bait中的至少一个词的行
SELECT note_text
FROM productnotes
WHERE Match(note_text) Against('rabbit bait' IN BOOLEAN MODE);

-- 搜索匹配短语rabbit bait而不是匹配两个词rabbit和bait
SELECT note_text
FROM productnotes
WHERE Match(note_text) Against('"rabbit bait"' IN BOOLEAN MODE);

-- 匹配rabbit和carrot,增加前者的等级,降低后者的等级
SELECT note_text
FROM productnotes
WHERE Match(note_text) Against('>rabbit <carrot' IN BOOLEAN MODE);

-- 搜索匹配词safe和combination,降低后者的等级
SELECT note_text
FROM productnotes
WHERE Match(note_text) Against('+safe +(<combination)' IN BOOLEAN MODE);
  • 排列而不排序:在布尔方式中,不按等级值降序排序返回行。

全文本搜索的使用说明

  • 在索引全文本数据时,短词被忽略且从索引中排除。短词定义为那些具有3个或3个以下字符的词(如果需要,此数目可以更改)。
  • MySQL带有一个内建的非用词列表,这些词在索引全文本数据时总是被忽略。如果需要,可以覆盖这个列表(请参阅MySQL文档)。
  • 许多词出现的频率很高,搜索他们没有用处(返回太多的结果)。因此MySQL规定了一条50%规则。如果一个词出现在50%以上的行中,则将它作为一个非用词忽略。50%规则不用于IN BOOLEAN MODE。
  • 如果表中的行数少于3行,则全文本搜索不返回结果(因为每个词或者不出现,或者至少出现在50%的行中)。
  • 忽略词中的单引号。例如,don’t索引为dont。
  • 不具有词分隔符(包括日语和汉语)的语言不能恰当的返回全文本搜索结果。
  • 仅在MyISAM数据库引擎中支持全文本搜索。
  • 没有邻近操作符:邻近搜索是许多全文本搜索支持的一个特性,它能搜索相邻的词(在相同的子句中、相同的段落中或者在特定数目的词的部分中,等等)。MySQL全文本搜索现在还不支持邻近操作符,未来的版本有支持这种操作符的计划。