Quantcast
Channel: 日々の覚書
Viewing all articles
Browse latest Browse all 581

innodb_ft_enable_stopword が無効にできなかったはなし

$
0
0

TL;DR

  • innodb_ft_enable_stopwordは2018/08/22現在ドキュメントの記載が “GLOBAL” のみになっているけど、実際は “GLOBAL, SESSION” で実効値はセッション側
  • このパラメーターでストップワードを判定させるか否かは CREATE TABLEまたは ALTER TABLEした時点の session.innodb_ft_enable_stopwordに依存する

元ネタはMySQL CasualのSlackでのこの発言。
(文中の引用元リンクがたどれない方は是非とも MySQL CasualのSlackへ!
innodb_ft_enable_stopwordパラメータですが、set globalでON/OFFが切り替えられると思っていたのですが、
実際に試してみたところOFFになりません。
(コマンド自体はエラーにならない)
マニュアルには Global って書いてあるんですけど、set コマンドでは Global と Session の両方あるような雰囲気ですね…。
むむむと思って調べてみた。
まず、 innodb_ft_enable_stopwordMYSQL_THDVAR_BOOLで定義されているので、グローバルオンリーではなくてグローバルとセッションの両方持っているのはそれで合っていそう(グローバルオンリーだと MYSQL_SYSVAR_*型)
この値(ft_enable_stopword)を唯一引きまわしているinnobase_fts_load_stopwordの中でも、 THDVARで呼ばれているので、グローバルとセッションと両方ある時はセッション側の値が実効値、という定石の通りになっていると思われる。
innobase_fts_load_stopwordが呼ばれるのはcreate_table_info_t::create_table_update_dictとprepare_inplace_alter_table_dictの中。
というところで、ドキュメントに以下の記述を見つけた。
Specifies that a set of stopwords is associated with an InnoDB FULLTEXT index at the time the index is created.
なるほど、フルテキストインデックスが生成される時に決まるのね。

じゃあ実験。
ストップワード関連のオプションをデフォルトのままで CREATE TABLE, INSERT INTOすると、フルテキストインデックスの中味に “one” を “on”, “ne” に分割したもののうちストップワードの “on” を除いた “ne” だけが記録される。
mysql57 2> SELECT @@session.innodb_ft_enable_stopword, @@global.innodb_ft_enable_stopword;
+-------------------------------------+------------------------------------+
| @@session.innodb_ft_enable_stopword | @@global.innodb_ft_enable_stopword |
+-------------------------------------+------------------------------------+
| 1 | 1 |
+-------------------------------------+------------------------------------+
1 row in set (0.02 sec)

mysql57 2> create table t1 (val varchar(32), fulltext key (val) with parser ngram);
Query OK, 0 rows affected (0.15 sec)

mysql57 2> INSERT INTO t1 VALUES ('one');
Query OK, 1 row affected (0.23 sec)

mysql57 2> SET GLOBAL innodb_ft_aux_table = 'd1/t1';
Query OK, 0 rows affected (1.59 sec)

mysql57 2> SELECT * FROM i_s.innodb_ft_index_cache;
+------+--------------+-------------+-----------+--------+----------+
| WORD | FIRST_DOC_ID | LAST_DOC_ID | DOC_COUNT | DOC_ID | POSITION |
+------+--------------+-------------+-----------+--------+----------+
| ne | 2 | 2 | 1 | 2 | 1 |
+------+--------------+-------------+-----------+--------+----------+
1 row in set (0.01 sec)
次、まず SET SESSION innodb_ft_enable_stopword= 0でセッション側の設定をOFFにしてもう一度 INSERTしてみる
mysql57 2> SET SESSION innodb_ft_enable_stopword= 0;
Query OK, 0 rows affected (0.00 sec)

mysql57 2> SELECT @@session.innodb_ft_enable_stopword, @@global.innodb_ft_enable_stopword;
+-------------------------------------+------------------------------------+
| @@session.innodb_ft_enable_stopword | @@global.innodb_ft_enable_stopword |
+-------------------------------------+------------------------------------+
| 0 | 1 |
+-------------------------------------+------------------------------------+
1 row in set (0.00 sec)

mysql57 2> INSERT INTO t1 VALUES ('one');
Query OK, 1 row affected (0.01 sec)

mysql57 2> SELECT * FROM i_s.innodb_ft_index_cache;
+------+--------------+-------------+-----------+--------+----------+
| WORD | FIRST_DOC_ID | LAST_DOC_ID | DOC_COUNT | DOC_ID | POSITION |
+------+--------------+-------------+-----------+--------+----------+
| ne | 2 | 3 | 2 | 2 | 1 |
| ne | 2 | 3 | 2 | 3 | 1 |
+------+--------------+-------------+-----------+--------+----------+
2 rows in set (0.00 sec)
セッション値を変えても INSERTした時にストップワードの “on” が取り除かれている。
じゃあグローバル値はどうかな。
mysql57 2> SET GLOBAL innodb_ft_enable_stopword= 0;
Query OK, 0 rows affected (0.00 sec)

mysql57 2> SELECT @@session.innodb_ft_enable_stopword, @@global.innodb_ft_enable_stopword;
+-------------------------------------+------------------------------------+
| @@session.innodb_ft_enable_stopword | @@global.innodb_ft_enable_stopword |
+-------------------------------------+------------------------------------+
| 0 | 0 |
+-------------------------------------+------------------------------------+
1 row in set (0.05 sec)

mysql57 2> INSERT INTO t1 VALUES ('one');
Query OK, 1 row affected (0.00 sec)

mysql57 2> SELECT * FROM i_s.innodb_ft_index_cache;
+------+--------------+-------------+-----------+--------+----------+
| WORD | FIRST_DOC_ID | LAST_DOC_ID | DOC_COUNT | DOC_ID | POSITION |
+------+--------------+-------------+-----------+--------+----------+
| ne | 2 | 4 | 3 | 2 | 1 |
| ne | 2 | 4 | 3 | 3 | 1 |
| ne | 2 | 4 | 3 | 4 | 1 |
+------+--------------+-------------+-----------+--------+----------+
3 rows in set (0.00 sec)
変わらない。フルテキストインデックスが生成されるタイミングで有効なのは本当らしい。
じゃあこの状態(グローバルOFF、セッションOFF)の状態でもういっこテーブルを作ってみる。
mysql57 2> CREATE TABLE t2 (val varchar(32), FULLTEXT KEY (val) WITH PARSER ngram);
Query OK, 0 rows affected (0.08 sec)

mysql57 2> INSERT INTO t2 VALUES ('one');
Query OK, 1 row affected (0.01 sec)

mysql57 2> SET GLOBAL innodb_ft_aux_table = 'd1/t2';
Query OK, 0 rows affected (0.01 sec)

mysql57 2> SELECT * FROM i_s.innodb_ft_index_cache;
+------+--------------+-------------+-----------+--------+----------+
| WORD | FIRST_DOC_ID | LAST_DOC_ID | DOC_COUNT | DOC_ID | POSITION |
+------+--------------+-------------+-----------+--------+----------+
| ne | 2 | 2 | 1 | 2 | 1 |
| on | 2 | 2 | 1 | 2 | 0 |
+------+--------------+-------------+-----------+--------+----------+
2 rows in set (0.00 sec)
ストップワードが判定されなくなって “on” もフルテキストインデックスの中に入ってくるようになった。
その後、セッション値とグローバル値とパターンを変えていくつか試してみると、
  • CREATE TABLEまたは ALTER TABLEの時点で指定していた innodb_ft_enable_stopwordのセッション値で判断される
    • innodb_optimize_fulltext_only= 1ALTER TABLEしてもその時点の値が反映される
  • INSERT, SELECTの時の innodb_ft_enable_stopwordは関係ない
    • SET SESSION innodb_ft_enable_stopwordだけで結果が変わったらどうしようかと思っちゃった
  • ということは単にドキュメントの間違いで、本当は “GLOBAL, SESSION” である
ごちそうさまでした!

【2018/08/22 17:22】
ばぐれぽしておいた!

MySQL Bugs: #92118: innodb_ft_enable_stopword is wrongly described as "GLOBAL" scope in Docs



『』

Viewing all articles
Browse latest Browse all 581

Trending Articles