Российские исследователи предложили новую модель генерации ключевых слов к научным текстам

Ключевые слова в научных статьях, монографиях и других текстах нужны для того, чтобы потом по этим словам публикация могла быть отнесена к определенной теме и нашлась в поиске. Было бы удобно «вычислять» ключевые слова с помощью нейросетевых алгоритмов, которые автоматически прочитывают текст и определяют, о чем там идет речь.

Сейчас подходы к определению ключевых слов в основном строятся на выделении их из текста. Однако в этом случае классификация может быть неполной. Например, для слов и словосочетаний нейросеть, большая языковая модель и машинное обучение можно подобрать обобщающий термин искусственный интеллект. Однако в тексте его может и не быть. Другими словами, важно, чтобы алгоритм не только находил ключевые слова в тексте, но и добавлял слова, семантически связанные с содержанием текста.

Исследователи из Института проблем передачи информации им. Харкевича РАН и их коллеги с кафедры программного обеспечения Школы компьютерных наук ТюмГУ предложили новый подход к генерации ключевых слов для русскоязычных научных текстов. Они использовали модель mT5, которая хорошо зарекомендовала себя в автоматическом реферировании русскоязычных текстов.

В результате использования модели список ключевых слов, относящихся к теме анализируемых текстов, расширился. В выбранном корпусе доля ключевых слов, не встречающихся в текстах в явном виде, составила 53,17% для обучающей выборки и 54,8% — для тестовой.  

При этом у примененного подхода есть ограничения. Использование mT5 для генерации ключевых слов потребовало дообучения на текстах из определенной предметной области. При использовании ее для текстов других предметных областей результаты могут быть не такими точными. Ведь чем более специфична обучающая выборка, тем более точными будут результаты генерации.