Как большие языковые модели планируют свои ответы еще до их генерации Хабр

Языковые модели призваны решать самый широкий спектр текстовых задач — вопросно-ответные, суммаризацию, диалоговость, перевод и многие другие. Тогда, можно «заморозить» все параметры в модели, кроме этих токенов, и сэкономить на обучении. Если токенов 100 и каждый из них имеет размерность в 1024, то необходимо оптимизировать лишь 100 тысяч параметров вместо 175 млрд в случае обучения всей модели. Для различных задач собираем подводки и добавляем нейтральное слово N/A.

Это можно назвать фазовым переходом, когда языковая модель вместе с увеличением размера и числа пройденных текстов на обучении обретает большую обобщающую способность. Она состояла из рекордных для того времени 1,5 млрд параметров (то есть была в ~10 раз больше первой), имела контекст в 1024 токена и была обучена на 40 ГБ текстовых данных. GPT-2 снова побеждала предыдущие подходы, включая GPT-1, на многих бенчмарках. Современные токенизаторы построены на алгоритме BPE (Byte Pair Encoding; об устройстве BPE более подробно можно прочитать в учебнике Лены Войта). Эмбеддинги — кодирование текста в смысл в виде вектора длины для базовой модели (сам вектор представляет собой смысл); или иначе — векторное представление слов в виде набора токенов. Если бы мы просто усилили ваши умственные способности — скажем, вложили в ваш мозг всю компьютерную мощь мира, — вы всё равно не смогли бы достоверно предсказать «of», исходя просто из «Jack». Вам понадобится больше контекста, чтобы понять, о каком именно «jack» идёт речь. Обучающая программа тестирует модель и корректирует её в зависимости от того, насколько хорошо она работает. Будущее языковых моделей таит в себе огромные возможности для прорывов и приложений. Модель преобразователя может собирать детализированную контекстуальную информацию, обращая внимание на различные входные компоненты на протяжении многих проходов, что повышает ее способность к пониманию и прогнозированию.

Интерфейс естественного языка для баз данных

Новые приложения LLM в области разработки программного обеспечения включают использование моделей, таких как Codex OpenAI, для создания фрагментов кода или предложения помощи в https://allenai.org программировании на основе описаний на естественном языке. Понимая языки и концепции программирования, LLM могут помочь разработчикам писать код более эффективно, решать проблемы и даже изучать новые языки программирования. Одним из первых и наиболее важных приложений LLM является машинный перевод, целью которого является автоматический перевод текста или речи с одного языка на другой. LLM, такие как T5 от Google и серия GPT от OpenAI, добились выдающихся результатов в задачах машинного перевода, уменьшив языковой барьер и облегчив межкультурное общение. Например, слова «дождь», «солнце», «ветер», скорее всего будут находиться рядом в векторном пространстве, потому что все они описывают погоду. Мультимодальные LLM, такие как GPT-4V, расширяют возможности моделей, использующих только текст, позволяя им выполнять более широкий спектр задач и предлагать новые возможности для пользователей через различные интерфейсы. Среди отличительных особенностей GPT-3 – понимание и генерация естественного языка (NLU / NLG), возможность генерировать код, возможности перевода, изучение языка и широкие возможности настройки. Критической развилкой на пути пользователей этих мощных моделей является выбор между фреймворками с открытым и закрытым исходным кодом. Стэнфордский центр исследований базовых моделей (CRFM) раскрывает эту концепцию глубже, описывая базовые модели как краеугольный камень новой парадигмы построения систем ИИ.

Обобщение текста

В ходе работы автоматизированных систем (АС) возникают данные, порождаемые технологическими ресурсами инфраструктуры и размещёнными на них технологическими компонентами (технологические данные, техноданные). Эти данные включают в себя различные типы информации, которые используются для управления объектами и играют в этом ключевую роль. Техноданные требуют лаконичного описания, особенно когда речь идёт о базе данных из хранилища (Data Warehouse, DWH). Обученный на 366 миллиардах токенов, BLOOM является результатом совместных исследований в области ИИ, главным продуктом инициативы BigScience – годичного исследовательского семинара под руководством Hugging Face. Поэтому, в отличие от BPE, он способен работать с такими языками, как японский или китайский. Токенизатор SentencePiece в определённом смысле совершеннее, чем BPE, — он наследует логику Unigram- и BPE-токенизаторов, иначе работает с пробелами (добавляет _ перед соответствующим токеном) и не построен на логике разбиения слов по разделителям. Например, он используется в умных клавиатурах, чтобы подсказать следующее слово. Способность вести осмысленный диалог, отвечать на практически любые вопросы и быть применимыми без дообучения в большом спектре задач с высоким качеством — вот залог их популярности. Остается только дообучить их на специфических датасетах, например с помощью аугментации данных — это поможет решать специализированные задачи. RNN работают, анализируя каждое входящее слово, отслеживая информацию из более ранних слов, что позволяет им создавать текст, который является связным и подходящим для контекста. Читабельность текстов по обществознанию для 6-7 классов (уровень I) составляет 6,8, для 8-9 классов (уровень II) читабельность вырастает до 9,04, а для классов (уровень III) снижается до 8,8 (рис. 1 А). Что произойдёт, если он вдруг откажется от своего фэндома, станет болельщиком «Пэйсерс» и переедет в Индианаполис? Маловероятно, что языковая модель столкнулась бы с этим в процессе обучения, а значит, в её словаре вряд ли найдутся суперслова, представляющие Джека Николсона как фаната «Пэйсерс». В процессе обучения языковая модель создаёт огромный словарь, содержащий все эти очень сложные, выдуманные суперслова. Она создаёт этот словарь, читая весь интернет и создавая суперслова из понятий, с которыми сталкивается. HashDork — это блог, посвященный искусственному интеллекту и технологиям будущего, в котором мы делимся идеями и освещаем достижения в области искусственного интеллекта, машинного обучения и глубокого обучения. Подходы к обобщению текста используют языковые модели для сжатия огромных объемов информации в краткие и полезные резюме. Непрерывный прогресс в создании языков позволит получать более реалистичные и похожие на человека результаты, расширяя границы того, чего могут достичь языковые модели. Другой серьезной проблемой является дезинформация, поскольку языковые модели могут предоставлять убедительную, но неточную информацию, что способствует распространению фальшивых новостей. Благодаря параллельному интенсивному использованию процессов внутреннего внимания конструкция преобразователя позволяет модели изучать сложные корреляции между входными и выходными последовательностями. Языковые модели обращают внимание на любое слово в подсказке, которое может иметь отношение к последнему слову, и затем используют его для обновления своего понимания того, что это за последнее слово. Существует множество отличных руководств о внутренних механизмах языковых моделей, но все они довольно техничны. (Заметным исключением является статья Нира Зичермана в журнале Every о том, что БЯМ — это еда.) Это обидно, потому что есть всего несколько простых идей, которые нужно понять, чтобы получить базовое представление о том, что происходит под капотом. Преобразователи — это мощная глубокая нейронная сеть, которая может проверять связи в последовательных данных, таких как слова во фразе. RNN могут интерпретировать последовательные данные, такие как фразы или абзацы, из-за их структуры, похожей на память. https://tupalo.com/@u8207391 Изучая и обрабатывая эти данные, языковые модели учатся предвосхищать следующее слово во фразе, создавать хорошо организованные абзацы и даже вести интеллектуальные разговоры.