Услуга LydStone Lab · Проверка перед решением (Decision Sprint)

Узнайте, справится ли ИИ с вашей задачей, — до закупки и приёмки.

Проверяем модель, конфигурацию или систему на ваших сценариях: критические ошибки, качество и ресурсы.

РезультатПисьменное заключение: подходит, не подходит или доказательств недостаточно.

  • Критерии — до проверки
  • Не продаём модели и серверы
Пример из наших экспериментовсинтетические данные

38 из 39ответов верны

Но одна ошибка — недопустимая.

Вывод: не подходитВариант не прошёл критерии: допуск таких ошибок — ноль.

Условия и границы вывода

Что мешает принять решение

Три сомнения перед решением.

Пробирный камень с пятью следами разных металлов: три золотых оттенка, серебряный и медный; рядом слитки, лупа и пробирная игла.
Пробы видны только рядом друг с другом и с эталоном

А Качество и доверие

Работает на демонстрации — а на ваших данных?

Проверим критические сценарии и покажем, где ответы неприемлемы.

Б Приёмка и ответственность

Подрядчик сообщает о готовности — на каком основании принимать?

Сопоставим результат с согласованными критериями; выдадим основание для решения.

В Экономика и достаточность

Предлагают дорогую модель или сервер — действительно ли это необходимо?

Сравним варианты по качеству, задержке и памяти на одинаковых задачах.

Для кого

Для тех, кто отвечает за результат ИИ.

01 Ваша роль

Заказчик ИИ-решения

Что принять, что доработать, что перепроверить перед масштабированием.

02 Ваша роль

Разработчик или интегратор

Проверка критических сценариев до передачи заказчику, с обозначением роли заказчика исследования.

03 Ваша роль

Поставщик оборудования

Сравнение моделей и конфигураций на задаче клиента; характеристики — только для проверенных условий. Не сертификация оборудования.

Пример проверки

Как выглядит проверка.

Компания выбирает модель и сервер для обработки договоров и переписки.

Сценарий приведён для иллюстрации. Он не описывает проект клиента или наш эксперимент с противоречивыми редакциями документов.

  1. 01

    Вопрос

    Какие варианты верно извлекают суммы, сроки и условия, а при противоречии отвечают «определить нельзя»?

  2. 02

    Варианты

    Облачная модель и локальные конфигурации.

  3. 03

    Критерии — заранее

    Доля верных ответов и нулевой допуск выдуманных сумм и сроков; заданные пределы времени и памяти.

  4. 04

    Данные

    Обезличенные документы, включая неполные и противоречивые.

Какие выводы возможны

Подходит в проверенных условиях
Не подходит по критериям
Недостаточно доказательств

Демонстрационный макет

Что будет в заключении

Решение о применении остаётся за заказчиком.

Лист «Испытательный протокол» на мраморном столе: сценарии в строках, критерии в столбцах, отметки «пройдено», «не пройдено» и «под вопросом», внизу место для заключения.
Протокол: критерии заданы заранее, у каждого сценария своя отметка
  1. Предметчто проверяли
  2. Условия и критериисреда, данные, пороги
  3. Выводы по вариантаммодели и конфигурации
  4. Критические ошибкивиды и примеры
  5. Измеренные ресурсызадержка и память
  6. Границыприменимость вывода
  7. Следующий шагчто проверить дальше

Посмотреть пример заключения

Доказательства

Что показали наши эксперименты.

В CogniScope W4 обозначает сопоставление сведений из нескольких источников. Здесь проверялся сценарий S-W4-03U с противоречивыми редакциями документов. Этап 1Б, синтетические задачи; результаты не относятся к проекту клиента.

38 из 39

Высокий балл ещё не допуск.

На L1 проверяли одно противоречие, неразрешимое по заданному правилу. А отвечает без промежуточных рассуждений: 38 верных ответов из 39 по 14 заданиям, но один недопустимый: конкретный ответ там, где нужно «определить нельзя». Вердикт: не подходит.

Б выполняет промежуточные рассуждения перед ответом. На L1 получены 6 верных ответов из 6 без критических ошибок. Пилотные критерии на проверенных случаях выполнены. Для Б на этом уровне не проводили дополнительные проверки, которыми уточняли результат А. Доказательств для промышленного применения пока недостаточно.

Медиана времени ответа: 0,9 с (39 ответов) у А и 6,8 с (6 ответов) у Б. Медианы получены на разных выборках и не являются парным сравнением.

Режим

Рассуждение нужно не всегда.

В отдельной задаче составления текста обычный режим проходил три уровня сложности за 1,3–1,5 с; рассуждение давало тот же результат при больших затратах времени и объёма ответа. На самом сложном уровне его преимущество проявилось.

Результат относится к отдельному эксперименту. Сравнение двух предыдущих медиан здесь не проводится.

+24 %

Больше памяти не гарантирует лучшего результата.

Квантование сжимает модель за счёт меньшей точности чисел: Q4 — 4 бита, Q6 — 6. В пяти сценариях из шести Q6 не улучшило результат по сравнению с Q4, в шестом оказалось хуже. При этом Q6 занимало примерно на 24 % больше видеопамяти.

Итоги относятся только к проверенным конфигурациям. На все модели они не распространяются.

Как это проверено

Критерии и допуск ошибок заданы до запусков. 45 фаз, 122 запуска, 1 989 записей результатов, 11 079 файлов доказательств.

Границы этих результатов

Пилотные условия: локальные модели одного семейства, один сервер, один одновременный запрос; денежная стоимость не измерялась. Не сертификация и не доказательство надёжности вашей системы.

Внутренние материалы на 22.09.2026; полный отчёт публично не опубликован.

Посмотреть пример заключения

Как проходит работа

Проверка перед решением (Decision Sprint): от разговора до заключения.

Проверяем одну-две критические задачи, от которых зависит закупка, приёмка или масштабирование.

  1. 1

    Разговор

    Уточняем решение, варианты, задачи и данные.

  2. 2

    Предложение

    Письменно фиксируем критерии, условия, сроки и стоимость.

  3. 3

    Проверка

    Проводим эксперимент по согласованным правилам.

  4. 4

    Заключение

    Вывод по каждому варианту, ограничения и следующий шаг.

Что нужно от вас

  • Решение, которое предстоит принять
  • Одна-две критические задачи
  • Доступные обезличенные примеры и, при необходимости, стенд

Чем не является

Не разработка под ключ, не сертификация, не универсальный рейтинг моделей и не гарантия безошибочности.

Стоимость и сроки — в письменном предложении. Ориентиры — в FAQ ниже.

Лаборатория

Кто проводит проверку.

Чёрный пробирный камень крупным планом: два золотых следа рядом с двумя серебряными.
LydStone — от лидийского пробирного камня

LydStone Lab — независимая лаборатория прикладных исследований ИИ. Подробнее о направлениях и методе — на сайте лаборатории.

Дмитрий Ванеев руководитель лаборатории

Более 20 лет занимается разработкой программного обеспечения; имеет опыт эксплуатации собственных систем. Инициатор исследовательской программы LydStone Lab и автор её метода.

LydStone Lab — лаборатория в составе ООО «ДоМиСоул».

По поручению покупателя

Независимая проверка

Не продаём модели, серверы или облачные сервисы. Вывод может быть отрицательным.

По заказу интегратора или поставщика

Заказное исследование

Заказчик, предмет, критерии и ограничения раскрываются в документах. Это не независимая экспертиза для покупателя и не сертификация.

Вопросы

Цена, сроки, данные и гарантии.

Сколько стоит проверка?

От 250 тыс. ₽. Точная стоимость указывается в письменном предложении до начала работ. Она зависит от числа задач, вариантов и проверочных случаев, среды и состава отчёта.

Акция до 31 марта 2027 года: скидка 20 %, если вы согласны, чтобы мы описали результат проверки без названия вашей компании и узнаваемых деталей. Без такого согласия цена не меняется.

Сколько времени это займёт?

Ориентировочно 1–2 недели. Точный срок фиксируется в предложении: он зависит от готовности данных и стенда, числа проверяемых вариантов и объёма проверки.

Можно ли работать с конфиденциальными данными?

Да, режим согласуем отдельно. Для начала достаточно обезличенных или синтетических примеров; работа в контуре заказчика — отдельная задача.

Вы гарантируете, что ИИ не ошибётся?

Нет. Вывод относится к проверенным задачам и условиям; отсутствие будущих ошибок не гарантируется.

Что, если ни один вариант не подходит?

Такой вывод возможен. Укажем причину и следующую проверку, если она нужна.

Вы независимы, если исследование оплачивает поставщик?

Это заказное исследование с раскрытием ролей. Независимое заключение для покупателя требует отдельных условий.

Подходит ли проверка для облачных и локальных моделей, для чужого оборудования?

Да, при доступной среде и согласованной методике. Оцениваем прикладной результат. Проверка не включает сертификацию оборудования или безопасности.

Вы считаете экономию в деньгах?

Нет, первоначально измеряем качество и ресурсы. Полная стоимость владения требует отдельного расчёта.

С кем заключается договор?

Договор на услуги лаборатории заключается с ООО «ДоМиСоул». Состав работ, цена, сроки и права на результаты определяются письменным предложением и договором. Эта же организация выступает оператором персональных данных (реквизиты — в политике конфиденциальности).

Следующий шаг

Обсудим вашу задачу

Обычно отвечаем в течение одного рабочего дня. Первый разговор — без обязательств.

Связаться напрямую с руководителем лаборатории

Дмитрий Ванеев

WhatsApp в России работает с перебоями. Не присылайте конфиденциальные документы в мессенджеры — режим работы с данными согласуем отдельно.

Написать в лабораторию по электронной почте

contact@lydstonelab.com

Что написать и приложить к письму

Для начала достаточно нескольких предложений. По возможности расскажите:

  • Какое ИИ-решение рассматриваете и какое решение предстоит принять.
  • Какие 1–2 задачи важно проверить и какие ошибки недопустимы.
  • Есть ли ограничения по срокам или условиям испытаний.

Можно приложить: краткое описание решения, требования к результату или обезличенные примеры задач.

Подготовка материалов необязательна — недостающие детали обсудим вместе.

Конфиденциальные документы пока не присылайте: сначала согласуем безопасный способ передачи.