在mysql中,全文索引是將儲存於資料庫中的整本書或整篇文章中的任意資訊找到的技術。透過數值比較、範圍過濾等就可以完成絕大多數我們需要的查詢,但是,如果希望透過關鍵字的匹配來進行查詢過濾,那麼就需要基於相似度的查詢,而不是原來的精確數值比較;而全文索引就是為這種場景設計的。
本教學操作環境:windows7系統、mysql8版本、Dell G3電腦。
##全文索引(Full-Text Search)是將儲存於資料庫中的整本書或整篇文章中的任意資訊找到的技術。它可以根據需要獲得全文中有關章、節、段、句、詞等信息,也可以進行各種統計和分析。全文索引一般是透過倒排索引來實現的。
透過數值比較、範圍過濾等就可以完成絕大多數我們需要的查詢,但是,如果希望透過關鍵字的匹配來進行查詢過濾,那麼就需要基於相似度的查詢,而不是原來的精確數值比較。全文索引就是為這種場景設計的。 你可能會說,用 like % 就可以實現模糊匹配了,為什麼還要全文索引? like % 在文字比較少時是合適的,但是對於大量的文字資料檢索,是不可想像的。全文索引在大量的資料面前,能比 like % 快 N 倍,速度不是一個數量級,但全文索引可能有精確度問題。
只有欄位的資料類型為char、varchar、text 及其係列才可以建立全文索引。
測試或使用全文索引時,請先看一下自己的 MySQL 版本、儲存引擎和資料類型是否支援全文索引。 操作全文索引
在建立表格時建立全文索引create table fulltext_test (
id int(11) NOT NULL AUTO_INCREMENT,
content text NOT NULL,
tag varchar(255), PRIMARY KEY (id),
FULLTEXT KEY content_tag_fulltext(content,tag) // 创建联合全文索引列
) ENGINE=MyISAM DEFAULT CHARSET=utf8;
create fulltext index content_tag_fulltext on fulltext_test(content,tag);
透過SQL 語句ALTER TABLE 建立全文索引alter table fulltext_test add fulltext index content_tag_fulltext(content,tag);
drop index content_tag_fulltext on fulltext_test;
alter table fulltext_test drop index content_tag_fulltext;
select * from fulltext_test where match(content,tag) against('xxx xxx');
有了上面的知識,就可以測試一下全文索引了。
先建立測試表,插入測試資料create table test (
id int(11) unsigned not null auto_increment,
content text not null, primary key(id),
fulltext key content_index(content)
) engine=MyISAM default charset=utf8;insert into test (content) values ('a'),('b'),('c');insert into test (content) values ('aa'),('bb'),('cc');insert into test (content) values ('aaa'),('bbb'),('ccc');insert into test (content) values ('aaaa'),('bbbb'),('cccc');
select * from test where match(content) against('a');select * from test where match(content) against('aa');select * from test where match(content) against('aaa');
根據我們的慣性思維,應該會顯示4 筆記錄才對,然而結果是1 筆記錄也沒有,只有在執行下面的查詢時
select * from test where match(content) against('aaaa');
才會搜到
aaaa### 這1 筆記錄。 ######為什麼?這個問題有很多原因,其中最常見的是 ###最小搜尋長度### 導致的。另外插一句,使用全文索引時,測試表裡至少要有 4 筆以上的記錄,否則,會出現意想不到的結果。 ######MySQL 中的全文索引,有兩個變量,最小搜尋長度和最大搜尋長度,對於長度小於最小搜尋長度和大於最大搜尋長度的詞語,都不會被索引。通俗點就是說,想對一個詞語使用全文索引搜索,那麼這個詞語的長度必須在以上兩個變數的區間內。 ######這兩個的預設值可以使用以下命令查看###show variables like '%ft%';
可以看到这两个变量在 MyISAM 和 InnoDB 两种存储引擎下的变量名和默认值
// MyISAM ft_min_word_len = 4; ft_max_word_len = 84; // InnoDB innodb_ft_min_token_size = 3; innodb_ft_max_token_size = 84;
可以看到最小搜索长度 MyISAM 引擎下默认是 4,InnoDB 引擎下是 3,也即,MySQL 的全文索引只会对长度大于等于 4 或者 3 的词语建立索引,而刚刚搜索的只有 aaaa 的长度大于等于 4。
配置最小搜索长度
全文索引的相关参数都无法进行动态修改,必须通过修改 MySQL 的配置文件来完成。修改最小搜索长度的值为 1,首先打开 MySQL 的配置文件 /etc/my.cnf,在 [mysqld] 的下面追加以下内容
[mysqld]innodb_ft_min_token_size = 1ft_min_word_len = 1
然后重启 MySQL 服务器,并修复全文索引。注意,修改完参数以后,一定要修复下索引,不然参数不会生效。
两种修复方式,可以使用下面的命令修复
repair table test quick;
或者直接删掉重新建立索引,再次执行上面的查询,a、aa、aaa 就都可以查出来了。
但是,这里还有一个问题,搜索关键字 a 时,为什么 aa、aaa、aaaa 没有出现结果中,讲这个问题之前,先说说两种全文索引。
自然语言的全文索引
默认情况下,或者使用 in natural language mode 修饰符时,match() 函数对文本集合执行自然语言搜索,上面的例子都是自然语言的全文索引。
自然语言搜索引擎将计算每一个文档对象和查询的相关度。这里,相关度是基于匹配的关键词的个数,以及关键词在文档中出现的次数。在整个索引中出现次数越少的词语,匹配时的相关度就越高。相反,非常常见的单词将不会被搜索,如果一个词语的在超过 50% 的记录中都出现了,那么自然语言的搜索将不会搜索这类词语。上面提到的,测试表中必须有 4 条以上的记录,就是这个原因。
这个机制也比较好理解,比如说,一个数据表存储的是一篇篇的文章,文章中的常见词、语气词等等,出现的肯定比较多,搜索这些词语就没什么意义了,需要搜索的是那些文章中有特殊意义的词,这样才能把文章区分开。
布尔全文索引
在布尔搜索中,我们可以在查询中自定义某个被搜索的词语的相关性,当编写一个布尔搜索查询时,可以通过一些前缀修饰符来定制搜索。
MySQL 内置的修饰符,上面查询最小搜索长度时,搜索结果 ft_boolean_syntax 变量的值就是内置的修饰符,下面简单解释几个,更多修饰符的作用可以查手册
对于上面提到的问题,可以使用布尔全文索引查询来解决,使用下面的命令,a、aa、aaa、aaaa 就都被查询出来了。
select * test where match(content) against('a*' in boolean mode);
好了,差不多写完了,又到了总结的时候。
MySQL 的全文索引最开始仅支持英语,因为英语的词与词之间有空格,使用空格作为分词的分隔符是很方便的。亚洲文字,比如汉语、日语、汉语等,是没有空格的,这就造成了一定的限制。不过 MySQL 5.7.6 开始,引入了一个 ngram 全文分析器来解决这个问题,并且对 MyISAM 和 InnoDB 引擎都有效。
事实上,MyISAM 存储引擎对全文索引的支持有很多的限制,例如表级别锁对性能的影响、数据文件的崩溃、崩溃后的恢复等,这使得 MyISAM 的全文索引对于很多的应用场景并不适合。所以,多数情况下的建议是使用别的解决方案,例如 Sphinx、Lucene 等等第三方的插件,亦或是使用 InnoDB 存储引擎的全文索引。
几个注意点
【相关推荐:mysql视频教程】
以上是mysql全文索引是什麼的詳細內容。更多資訊請關注PHP中文網其他相關文章!