Векторы терминов Elasticsearch предоставляют подробное представление о терминах в определенном поле документа. Они являются важнейшим компонентом процесса анализа текста в Elasticsearch, позволяя получить представление о частоте терминов, их положении и полезной нагрузке. В этой статье мы рассмотрим все тонкости векторов терминов, их использование и эффективное применение в работе Elasticsearch.
Анатомия векторов терминов
Векторы терминов - это, по сути, разбивка терминов в текстовом поле. Они предоставляют следующую информацию:
- Частота терминов (tf): Это количество раз, которое термин встречается в поле. Это решающий фактор при определении релевантности термина в документе.
- Частота документа (df): Это количество документов в индексе, содержащих данный термин. Он помогает понять общность термина.
- Позиции термина: Это позиция или порядок, в котором термин появляется в поле. Это особенно полезно при фразовых запросах и поиске по близости.
- Полезная нагрузка термина: Это дополнительные метаданные или информация, связанная с термином, например, синонимы или формы.
Включение векторов терминов
По умолчанию векторы терминов не включены в Elasticsearch из-за дополнительных требований к хранению. Однако они должны быть включены на уровне поля при создании индекса. Вот как можно включить векторы терминов при создании индекса:
| 1 2 3 4 5 6 7 8 9 10 11 | PUT /my_index { "mappings": { "properties": { "my_field": { "type": "text", "term_vector": "yes" } } } } |
В приведенном выше примере параметр `term_vector` имеет значение `yes`, что позволяет использовать векторы терминов для `my_field`. Другие возможные значения для `term_vector` включают `no`, `with_positions`, `with_offsets`, `with_positions_offsets`, `with_positions_payloads` и `with_positions_offsets_payloads`.
Получение векторов терминов
После того как векторы терминов включены, вы можете получить их с помощью API `_termvectors`. Вот пример:
| 1 2 3 4 5 6 7 8 | GET /my_index/_termvectors/1 { "fields" : ["my_field"], "offsets" : true, "positions" : true, "term_statistics" : true, "field_statistics" : true } |
В этом запросе `offsets`, `positions`, `term_statistics` и `field_statistics` установлены в `true`, запрашивая всю доступную информацию для `my_field` в документе с идентификатором `1`.
Примеры использования векторов терминов
Векторы терминов особенно полезны в задачах анализа текста и обработки естественного языка. Вот несколько конкретных примеров использования:
- 1. Информационный поиск: Векторы терминов можно использовать для расчета релевантности документа запросу с помощью таких показателей, как частота терминов и обратная частота документов (TF-IDF).
- Классификация текста: Векторы терминов могут использоваться для построения векторов признаков для алгоритмов машинного обучения в задачах классификации текстов.
- Сходство текстов: Сравнивая векторы терминов, можно измерить сходство между двумя документами.
- Извлечение ключевых слов: Векторы терминов можно использовать для определения важных ключевых слов в документе на основе частоты терминов.