Стоп-слова - это фундаментальный аспект анализа текста в Elasticsearch. Это часто используемые слова, которые поисковая система запрограммирована игнорировать. Такие слова, как "и", "the", "is" и "in", часто используются в качестве стоп-слов, поскольку они не добавляют значительной ценности для поиска. Однако использование стоп-слов в Elasticsearch не так просто, как кажется. В этой статье мы разберемся в тонкостях использования стоп-слов в Elasticsearch, приведя примеры и пошаговые инструкции, где это необходимо.
Если вы хотите узнать об анализаторах текста Elasticsearch - токенизаторах, стандартных анализаторах, стоп-словах и многом другом, ознакомьтесь с этим руководством.
Elasticsearch использует фильтр стоп-слова для обработки стоп-слов. Этот фильтр используется в процессе анализа для удаления стоп-слов из потока токенов. По умолчанию Elasticsearch использует набор английских стоп-слов, но вы можете настроить его на использование любого набора стоп-слов, который вам нужен.
Внедрение пользовательского фильтра стоп-слов: Пошаговое руководство
Чтобы проиллюстрировать это, давайте рассмотрим пример. Предположим, у вас есть текстовое поле в индексе, и вы хотите применить пользовательский фильтр стоп-слов. Вот как это можно сделать:
Шаг 1: Определите пользовательский анализатор
Определите пользовательский анализатор в настройках индекса. В определении включите стоп-фильтр и укажите стоп-слова.
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 | PUT /my_index { "settings": { "analysis": { "analyzer": { "my_analyzer": { "tokenizer": "standard", "filter": ["lowercase", "my_stop"] } }, "filter": { "my_stop": { "type": "stop", "stopwords": ["the", "and"] } } } } } |
В этом примере 'the' и 'and' являются стоп-словами. Анализатор 'my_analyzer' удалит эти слова из потока лексем.
В случае если список стоп-слов будет большим, можно также хранить все стоп-слова в файле и указать путь к нему в параметре "stopwords_path". Файл должен быть в кодировке UTF-8 и присутствовать на всех узлах кластера, что означает, что при каждом изменении списка стоп-слов файл должен быть обновлен на всех узлах и перезагружен.
Шаг 2: Примените пользовательский анализатор к текстовому полю
| 1 2 3 4 5 6 7 8 9 | PUT /my_index/_mapping { "properties": { "my_field": { "type": "text", "analyzer": "my_analyzer" } } } |
На этом шаге мы применим 'my_analyzer' к 'my_field'. Теперь при индексации 'my_field' из потока токенов будут удаляться 'the' и 'and'.
Расширенная настройка стоп-слов
Важно отметить, что использование стоп-слов может значительно уменьшить размер вашего индекса и увеличить скорость поиска. Однако это также может привести к менее точным результатам поиска. Например, если вы ищете фразу "the and", поисковая система не выдаст никаких результатов, поскольку 'the' и 'and' являются стоп-словами.
Elasticsearch также позволяет удалить все стоп-слова, установив для параметра 'stopwords' значение '_none_' в фильтре стоп-лексинов. Это может быть полезно в сценариях, где точность важнее размера индекса и скорости поиска.
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 | PUT /my_index { "settings": { "analysis": { "analyzer": { "my_analyzer": { "tokenizer": "standard", "filter": ["lowercase", "my_stop"] } }, "filter": { "my_stop": { "type": "stop", "stopwords": "_none_" } } } } } |
В этом примере показано, как настроить Elasticsearch на исключение всех стоп-слов из анализа, установив для параметра 'stopwords' значение '_none_' в фильтре стоп-токенов.