Как оценить инструмент, собранный с AI, до входа в продуктовый цикл
AI снизил порог входа, и инструменты для своей работы всё чаще собирают сами бизнес-пользователи. Организации нужно направлять такие инициативы. Здесь разберём первое средство для этого: короткий цикл.
Проблема
AI снижает порог входа: рабочий инструмент можно собрать без разработчика. Поэтому всё чаще такие инструменты собирают сами бизнес-пользователи.
Собрать MVP часто дешевле и быстрее, чем оценить его эффект и безопасность. В безопасность входит и всё, что проверяли раньше, и новые угрозы, которые несёт AI.
Продуктовый цикл рассчитан на долгую разработку, и его процедуры тоже не быстрые. Если вести через него каждую такую инициативу, он становится узким местом. Если не вести, ресурс может тратиться на ненужное или заведомо небезопасное. Поэтому ИТ нужно эти инициативы направлять. Для этого нужны средства: короткий цикл, безопасная среда и разрешённые компоненты.
Короткий цикл
Оценить эффект заранее дорого, а измерить его на самом MVP часто дёшево. Короткий цикл нужен для таких инициатив. Он стоит перед стандартным, обходится небольшим бюджетом и приводит в стандартный цикл инициативу с измеренным эффектом.
Здесь он описан для продукта без AI внутри: AI помог его сделать, сгенерировал код, а дальше продукт работает без модели. Ошибки у такого продукта обычные, их ловит обычное тестирование. Что добавляется, если модель работает внутри продукта, разберём в следующий раз.
Шаг 1. Предфильтр: четыре вопроса до первой строки кода
До первой строки кода нужно зафиксировать ответы на четыре вопроса:
- какую работу меняет инициатива и как;
- по какому показателю будем измерять эффект и из чего он сложится;
- кто отвечает за этот показатель;
- можно ли дёшево и безопасно измерить эффект на MVP.
Значение показателя на этом этапе никто не обещает: его дадут измерения. Владелец процесса, чью работу меняет инициатива, и ответственный за показатель согласуют показатель и способ измерения эффекта.
Измерить эффект дёшево и безопасно можно, если хватает выгрузки или копии данных и доступа на чтение, результат при измерении никуда не уходит, а другим подразделениям ничего не нужно строить или закупать.
По итогам предфильтра принимают одно из трёх решений:
- если измерить можно дёшево и безопасно, переходят к шагу 2;
- если измерить дорого, инициатива идёт в стандартный цикл как продукт с бюджетом, а ответы на четыре вопроса дополняют остальными данными заявки на запуск проекта;
- если инициатива заведомо небезопасна, то есть не пройдёт проверку безопасности ни при каком эффекте, её закрывают или переделывают так, чтобы она эту проверку проходила.
Шаг 2. MVP и измерение эффекта
Делают MVP, прогоняют его на выгрузке или копии данных и измеряют показатель, который зафиксировали на шаге 1. Безопасность самого измерения обеспечивают условия из четвёртого вопроса. Об этом в следующий раз.
По итогам шага 2 принимают решение. Если чистый эффект, измеренный на MVP, достаточен, инициатива входит в стандартный цикл уже с измеренным эффектом и там проходит полную оценку безопасности. Если нет, её закрывают.