Оценочный набор данных для понимания и перевода русских метафор, ориентированный на большие языковые модели

Тексто-понимание и переводческие возможности больших языковых моделей широко признаны во всём мире, однако метафоры относятся к классу лексики с высокой культурной обусловленностью, и поэтому результаты в области межкультурного толкования остаются недостаточно удовлетворительными. В связи с этим на основе переносных толкований, представленных в авторитетных русскоязычных словарях, нами был создан русско-китайский двуязычный параллельный корпус метафорических наименований. На его основе разработан оценочный набор данных для проверки понимания метафоры большим языковым моделью; цель работы – выявить, как модели (на примере DeepSeek) понимают и переводят русские метафорические наименования. Результаты исследования показывают, что в задаче понимания русских метафорических наименований модель демонстрирует высокую точность на уровне отдельных слов (96,53%), тогда как на уровне предложений общая точность ниже (79,19%). В задаче перевода русских метафорических наименования на китайский язык наблюдается обратная картина: на лексическом уровне точность ниже (92,49%), а на уровне предложений выше (97,11%). Это позволяет заключить, что предложение, то есть контекстная информация, выступает для модели «двуострым мечом» при обработке метафор: в задаче понимания контекст затрудняет распознавание метафорического значения, тогда как в задаче перевода он способствует повышению точности перевода