GPT-J
GPT-J — языковая модель искусственного интеллекта с открытым исходным кодом, разработанная EleutherAI[1]. GPT-J работает очень похоже на GPT-3 от OpenAI в различных zero-shot задачах и может даже превзойти его в задачах генерации кода[2]. Новейшая версия GPT-J-6B представляет собой языковую модель, основанную на наборе данных под названием The Pile[3]. Pile — это 825- гигабайтный набор данных языкового моделирования с открытым исходным кодом, который разделен на 22 меньших набора данных[4]. GPT-J похож на ChatGPT по возможностям, хотя он не работает как чат-бот, а только как предсказатель текста[5]. В марте 2023 года Databricks выпустила Dolly, лицензированную Apache модель следования инструкциям, основанную на GPT-J с тонкой настройкой из набора данных Stanford Alpaca[6].
Примечания
[править | править код]- ↑ Demo. GPT-J | Discover AI use cases (англ.). gpt3demo.com. Дата обращения: 28 февраля 2023. Архивировано 28 февраля 2023 года.
- ↑ GPT-J-6B: An Introduction to the Largest Open Source GPT Model | Forefront (англ.). www.forefront.ai. Дата обращения: 28 февраля 2023. Архивировано из оригинала 9 марта 2023 года.
- ↑ Wang, Ben, Table of contents, Архивировано 28 февраля 2023, Дата обращения: 28 февраля 2023
- ↑ The Pile. pile.eleuther.ai. Дата обращения: 28 февраля 2023. Архивировано 28 февраля 2023 года.
- ↑ Mueller. How you can use GPT-J (англ.). Medium (25 января 2022). Дата обращения: 28 февраля 2023. Архивировано 28 февраля 2023 года.
- ↑ Conover; Hayes, Matt; Mathur, Ankit; Meng, Xiangrui; Xie, Jianwei Hello Dolly: Democratizing the magic of ChatGPT with open models (24 марта 2023). Дата обращения: 5 апреля 2023. Архивировано 5 апреля 2023 года.