Комбинаторные и спектральные ограничения dual-encoder retrieval: теория и эмпирическая проверка в e-commerce

В работе проводится теоретико-экспериментальный анализ ограничений embedding-based retrieval в задаче товарного поиска в e-commerce сегменте DIY. В качестве аналитической основы рассматриваются комбинаторные (sign-rank, VC-размерность), спектральные (низкоранговая факторизация) и геометрические (концентрация меры, hubness) ограничения билинейных моделей. Формулируется гипотеза о снижении эффективной размерности эмбеддингов в простой предметной области и его связи с наблюдаемым эффектом cosine collapse. Экспериментально исследуются три encoder-only модели (Qwen 2.5 (0.5B), Phi-3.5 Mini, BERT Multilingual) в режиме dual-encoder на датасете товаров из категории электроинструментов. Показано существенное уменьшение эффективной размерности по сравнению с номинальной, а также количественное согласование дисперсии косинусного сходства с оценкой $1/d_{\text{eff}}$. Продемонстрирована нестабильность fine ranking при малых возмущениях эмбеддингов. Полученные результаты подтверждают структурный характер ограничений embedding-based retrieval и объясняют практическую роль гибридной архитектуры retrieval + re-ranking как следствие различий в representational capacity билинейных и глубоко-нелинейных моделей.