Кто создал трнсформеров

Трансформеры, как архитектура для обработки последовательных данных, были предложены в научной статье "Attention is All You Need", опубликованной в 2017 году. Эту статью написала группа исследователей из компании Google, состоящая из Ашиша Васвани, Ноя Шазера, Ники Пармар, Якоба Успеки, Люк Джонса, Айдана Гомеса, Льама Кайзера и Иллы Полоса.

Основная идея архитектуры трансформеров заключается в использовании механизма внимания (attention mechanism), который позволяет модели фокусироваться на определенных частях входной последовательности при генерации выходной. В отличие от предыдущих рекуррентных нейронных сетей (RNN) и их разновидностей, таких как LSTM и GRU, трансформеры не зависят от последовательной обработки данных. Это позволило значительно улучшить параллелизм вычислений и снизить время обучения моделей.

Трансформеры стали основой для многих современных моделей обработки естественного языка, таких как BERT, GPT, T5 и другие. Эти модели продемонстрировали выдающиеся результаты в различных задачах, включая машинный перевод, резюмирование текста и вопросно-ответные системы. Трансформеры также нашли применение за пределами обработки естественного языка, в таких областях, как компьютерное зрение и биоинформатика.

Трансформеры - это франшиза, которая была создана компанией Hasbro в 1984 году. Однако история Трансформеров началась еще в 1980-х годах в Японии, когда компания Takara Tomy выпустила серию игрушек под названием "Microman" и "Diaclone", которые стали основой для создания Трансформеров. Позже Hasbro заключила партнерство с Takara Tomy и начала выпускать игрушки под брендом "Transformers" для американского рынка. Таким образом, можно сказать, что Трансформеры были созданы совместными усилиями компаний Hasbro и Takara Tomy.