А Качество и доверие
Работает на демонстрации — а на ваших данных?
Проверим критические сценарии и покажем, где ответы неприемлемы.
Услуга LydStone Lab · Проверка перед решением (Decision Sprint)
Проверяем модель, конфигурацию или систему на ваших сценариях: критические ошибки, качество и ресурсы.
РезультатПисьменное заключение: подходит, не подходит или доказательств недостаточно.
38 из 39ответов верны
Но одна ошибка — недопустимая.
Вывод: не подходитВариант не прошёл критерии: допуск таких ошибок — ноль.
Что мешает принять решение
А Качество и доверие
Проверим критические сценарии и покажем, где ответы неприемлемы.
Б Приёмка и ответственность
Сопоставим результат с согласованными критериями; выдадим основание для решения.
В Экономика и достаточность
Сравним варианты по качеству, задержке и памяти на одинаковых задачах.
Для кого
01 Ваша роль
Что принять, что доработать, что перепроверить перед масштабированием.
02 Ваша роль
Проверка критических сценариев до передачи заказчику, с обозначением роли заказчика исследования.
03 Ваша роль
Сравнение моделей и конфигураций на задаче клиента; характеристики — только для проверенных условий. Не сертификация оборудования.
Пример проверки
Компания выбирает модель и сервер для обработки договоров и переписки.
Сценарий приведён для иллюстрации. Он не описывает проект клиента или наш эксперимент с противоречивыми редакциями документов.
Какие варианты верно извлекают суммы, сроки и условия, а при противоречии отвечают «определить нельзя»?
Облачная модель и локальные конфигурации.
Доля верных ответов и нулевой допуск выдуманных сумм и сроков; заданные пределы времени и памяти.
Обезличенные документы, включая неполные и противоречивые.
Какие выводы возможны
Демонстрационный макет
Решение о применении остаётся за заказчиком.
Доказательства
В CogniScope W4 обозначает сопоставление сведений из нескольких источников. Здесь проверялся сценарий S-W4-03U с противоречивыми редакциями документов. Этап 1Б, синтетические задачи; результаты не относятся к проекту клиента.
38 из 39
На L1 проверяли одно противоречие, неразрешимое по заданному правилу. А отвечает без промежуточных рассуждений: 38 верных ответов из 39 по 14 заданиям, но один недопустимый: конкретный ответ там, где нужно «определить нельзя». Вердикт: не подходит.
Б выполняет промежуточные рассуждения перед ответом. На L1 получены 6 верных ответов из 6 без критических ошибок. Пилотные критерии на проверенных случаях выполнены. Для Б на этом уровне не проводили дополнительные проверки, которыми уточняли результат А. Доказательств для промышленного применения пока недостаточно.
Медиана времени ответа: 0,9 с (39 ответов) у А и 6,8 с (6 ответов) у Б. Медианы получены на разных выборках и не являются парным сравнением.
Режим
В отдельной задаче составления текста обычный режим проходил три уровня сложности за 1,3–1,5 с; рассуждение давало тот же результат при больших затратах времени и объёма ответа. На самом сложном уровне его преимущество проявилось.
Результат относится к отдельному эксперименту. Сравнение двух предыдущих медиан здесь не проводится.
+24 %
Квантование сжимает модель за счёт меньшей точности чисел: Q4 — 4 бита, Q6 — 6. В пяти сценариях из шести Q6 не улучшило результат по сравнению с Q4, в шестом оказалось хуже. При этом Q6 занимало примерно на 24 % больше видеопамяти.
Итоги относятся только к проверенным конфигурациям. На все модели они не распространяются.
Как это проверено
Критерии и допуск ошибок заданы до запусков. 45 фаз, 122 запуска, 1 989 записей результатов, 11 079 файлов доказательств.
Границы этих результатов
Пилотные условия: локальные модели одного семейства, один сервер, один одновременный запрос; денежная стоимость не измерялась. Не сертификация и не доказательство надёжности вашей системы.
Внутренние материалы на 22.09.2026; полный отчёт публично не опубликован.
Как проходит работа
Проверяем одну-две критические задачи, от которых зависит закупка, приёмка или масштабирование.
1
Уточняем решение, варианты, задачи и данные.
2
Письменно фиксируем критерии, условия, сроки и стоимость.
3
Проводим эксперимент по согласованным правилам.
4
Вывод по каждому варианту, ограничения и следующий шаг.
Что нужно от вас
Чем не является
Не разработка под ключ, не сертификация, не универсальный рейтинг моделей и не гарантия безошибочности.
Стоимость и сроки — в письменном предложении. Ориентиры — в FAQ ниже.
Лаборатория
LydStone Lab — независимая лаборатория прикладных исследований ИИ. Подробнее о направлениях и методе — на сайте лаборатории.
Дмитрий Ванеев руководитель лаборатории
Более 20 лет занимается разработкой программного обеспечения; имеет опыт эксплуатации собственных систем. Инициатор исследовательской программы LydStone Lab и автор её метода.
LydStone Lab — лаборатория в составе ООО «ДоМиСоул».
По поручению покупателя
Не продаём модели, серверы или облачные сервисы. Вывод может быть отрицательным.
По заказу интегратора или поставщика
Заказчик, предмет, критерии и ограничения раскрываются в документах. Это не независимая экспертиза для покупателя и не сертификация.
Вопросы
От 250 тыс. ₽. Точная стоимость указывается в письменном предложении до начала работ. Она зависит от числа задач, вариантов и проверочных случаев, среды и состава отчёта.
Акция до 31 марта 2027 года: скидка 20 %, если вы согласны, чтобы мы описали результат проверки без названия вашей компании и узнаваемых деталей. Без такого согласия цена не меняется.
Ориентировочно 1–2 недели. Точный срок фиксируется в предложении: он зависит от готовности данных и стенда, числа проверяемых вариантов и объёма проверки.
Да, режим согласуем отдельно. Для начала достаточно обезличенных или синтетических примеров; работа в контуре заказчика — отдельная задача.
Нет. Вывод относится к проверенным задачам и условиям; отсутствие будущих ошибок не гарантируется.
Такой вывод возможен. Укажем причину и следующую проверку, если она нужна.
Это заказное исследование с раскрытием ролей. Независимое заключение для покупателя требует отдельных условий.
Да, при доступной среде и согласованной методике. Оцениваем прикладной результат. Проверка не включает сертификацию оборудования или безопасности.
Нет, первоначально измеряем качество и ресурсы. Полная стоимость владения требует отдельного расчёта.
Договор на услуги лаборатории заключается с ООО «ДоМиСоул». Состав работ, цена, сроки и права на результаты определяются письменным предложением и договором. Эта же организация выступает оператором персональных данных (реквизиты — в политике конфиденциальности).
Следующий шаг
Обычно отвечаем в течение одного рабочего дня. Первый разговор — без обязательств.
Дмитрий Ванеев
WhatsApp в России работает с перебоями. Не присылайте конфиденциальные документы в мессенджеры — режим работы с данными согласуем отдельно.
Для начала достаточно нескольких предложений. По возможности расскажите:
Можно приложить: краткое описание решения, требования к результату или обезличенные примеры задач.
Подготовка материалов необязательна — недостающие детали обсудим вместе.
Конфиденциальные документы пока не присылайте: сначала согласуем безопасный способ передачи.