Лаборатория ВыготскийLite · открытые данные
Лаборатория: открытый тест нейросетей для презентаций
Мы зафиксировали методику открытого теста сервисов подготовки презентаций: один и тот же набор из 15 задач, слепая оценка пятью независимыми методистами по пяти критериям, агрегация медианой. Первый выпуск готовится к публикации: на этой странице появятся итоговая таблица, сырые файлы PPTX и датасет оценок под лицензией CC BY 4.0 — включая выпуски, в которых наш собственный ВыготскийLite займёт не первое место.
Статус на 27 августа 2026. Первый выпуск бенчмарка ещё не проведён: идёт подготовка прогона и формирование экспертной группы. На странице пока нет таблиц с баллами и имён оценщиков — мы публикуем только то, что уже зафиксировано: методику, критерии и состав будущих данных. Результаты появятся здесь после завершения слепой оценки.
Методика: что и как мы измеряем
Набор состоит из 15 задач: 5 задач «PDF → презентация» на методических документах, 5 задач «текст → презентация» на конспектах и 5 задач «презентация по теме» без исходного материала. Набор фиксирован и не меняется между выпусками; при добавлении задач публикуется новая версия методики с указанием, какие результаты несопоставимы с предыдущими.
Оценку будут выполнять пять методистов образовательных организаций, каждый — с подтверждаемым профилем и ORCID. Оценщики не знают, какой сервис создал файл: имена файлов заменяются идентификаторами до передачи на оценку. Версии сравниваемых сервисов и моделей фиксируются на дату прогона; актуальный список моделей ВыготскийLite — на странице «Модели».
Пять критериев оценки — по шкале от 1 до 10 каждый
- Соответствие структуре методического документа
- Насколько план слайдов воспроизводит логику исходника.
- Фактическая точность текста слайдов
- Наличие искажений, выдуманных данных и подмены терминов.
- Пригодность к правке в PowerPoint
- Редактируемость объектов, отсутствие «запечённых» изображений и сломанной вёрстки.
- Качество и релевантность иллюстраций
- Соответствие темы изображения содержанию слайда.
- Полнота переноса источников
- Сохранились ли ссылки, цитаты и библиографические описания.
Протокол оценки
- 15 фиксированных задач;
- прогон по всем сравниваемым сервисам;
- обезличивание файлов — имена заменяются идентификаторами;
- слепая оценка пятью методистами по пяти критериям;
- агрегация медианой;
- публикация таблицы, сырых файлов и датасета.
Балл — медиана оценок пяти независимых экспертов по каждому критерию, суммированная по пяти критериям; максимум 50. Медиана, а не среднее, выбрана намеренно: она устойчива к единичной аномальной оценке.
Ограничения методики
- Оценка экспертная и субъективная по природе. Мы снижаем субъективность слепым протоколом и медианой, но не устраняем её. При пяти оценщиках мы не заявляем статистическую значимость различий и не называем результаты объективным рейтингом.
- Набор задач ограничен образовательным контекстом. Результаты не характеризуют пригодность сервисов для коммерческих презентаций.
- Мы — заинтересованная сторона. Лабораторию ведёт разработчик одного из сравниваемых сервисов; именно поэтому будут публиковаться сырые файлы, позволяющие перепроверить любой вывод.
- Библиотечные материалы не используются. В наборе задач нет изданий из фондов ЭБС — только собственные документы CDO Global и материалы с разрешением правообладателя.
Данные и файлы: что будет опубликовано
Состав артефактов каждого выпуска зафиксирован в методике. После первого выпуска на этой странице появятся ссылки на скачивание.
- ZIP с сырыми PPTX — презентации всех сравниваемых сервисов по всем 15 задачам, без правок.
- CSV с оценками — поля
task_id,service,model,criterion,score,evaluator_id,date. - JSON с метаданными выпуска — состав задач, версии сервисов и моделей, даты прогонов, версия методики.
- PDF методики — с указанием версии.
- PDF отчёта выпуска — выводы и наблюдения.
Датасет будет распространяться под лицензией CC BY 4.0: используйте данные в обзорах, статьях и исследованиях со ссылкой на источник. Персональные данные оценщиков в датасет не включаются, идентификаторы обезличены. Опубликованные выпуски не редактируются: исправления оформляются отдельным примечанием с датой и описанием.
Как использовать наши данные
Блок для журналистов, преподавателей и исследователей.
- Лицензия. CC BY 4.0 — свободное использование с указанием авторства и источника, в том числе в коммерческих материалах.
- Рекомендуемая форма ссылки. «Лаборатория ВыготскийLite. CDO Global. URL: https://cdo-global.ru/vygotsky-lite/laboratoriya/» — с указанием номера и даты цитируемого выпуска после его публикации.
- Дополнительные данные. Сырые файлы и уточнения по методике предоставим по отдельному запросу: info@cdo-global.ru.
- Анонсы выпусков. Публикуются на этой странице и в Telegram-канале t.me/cdo_global.
Частые вопросы о лаборатории
Когда выйдет первый выпуск лаборатории?
Почему в лаборатории используется медиана, а не среднее?
Будете ли вы публиковать выпуски, где ВыготскийLite проиграл?
По какой лицензии будут доступны данные лаборатории?
Как стать оценщиком лаборатории?
Стать оценщиком лаборатории
Приглашаем методистов образовательных организаций с публичным профилем ORCID. Оценка слепая; состав экспертной группы публикуется только с письменного согласия каждого участника.
- Расскажем протокол, объём работы и условия участия
- Ответим в течение 1 часа в рабочее время
- Без спама и автоматических звонков
- Или сразу в Telegram: @cdoglobal
Хотите проверить сами?
Не ждите выпуска: откройте ВыготскийLite в гостевом режиме, загрузите свой документ и оцените результат по нашим пяти критериям.