Ученые из Пекина создали генеративную нейросеть глубокого обучения Wu Dao 2.0. Она намного мощнее, чем ее ближайшие конкуренты - Open AI GPT-3 и Google Switch Transformers.
Нейросеть Open AI GPT-3 использует 175 миллиардов параметров — такая мощность позволяет ей генерировать осмысленные тексты, создавать музыку и программный код. А количество параметров новой нейросети превышает 1,75 триллиона. Она в 10 раз мощнее, чем нейросеть от Google.
Wu Dao 2.0 может выполнять множество функций. Среди них — написание эссе, стихотворений и двустиший на китайском языке; распознавание изображения и генерация словесного описания к нему; имитация речи; создание кулинарных рецептов; способность предсказывать трехмерную структуру белков.
В процессе обучения нейросети разработчики использовали порядка 5 ТБ изображений и текстов.
