Для начинающих тестировщиков эта проблема особенно актуальна. Мне тоже пришлось пройти через неё. На вопрос "на сколько детальным должно быть тестирование" нет правильного ответа, но можно и нужно найти некоторый баланс между "слишком глубоко" и "слишком поверхностно".
Вся соль понимания этого баланса заключается в том, на сколько хорошо ты чувствуешь внешние индикаторы: сообщения от заказчиков/клиентов, мнение команды и мнение менеджера.
Да, всегда стоит стремиться к отсутствию багов в продакшене. Всем, кроме заказчиков, понятно, что это невозможно. Дело в том, что исправление некоторых багов требует больших трудовых затрат, и не имеет никакого экономического смысла. Хотя, если у вас какой-то медицинский или банковский продукт, то вы просто обязаны копать глубоко, особенно по сравнению с каким-нибудь, например, веб-приложением. В индикаторе Сообщения от заказчиков/клиентов действует примерно такое правило: ты нашел много багов, но их никто особо не фиксит или пользователи не сообщают о проблемах, то ты сильно закопался. Если нашел мало багов, а с продакшена баги заводят вагонами, то, очевидно, стоит сильнее углубиться.
Мнение команды. Если коллеги разработчики тестируют продукт самостоятельно или на стендапах ставят вопросы о качесвте тестирования, то тестирование слишком поверхностное. С другой стороны, если команда спрашивает есть ли у тебя более важные задачи или пытается как-то ограничить тестирование,то ты слишком глубоко закопался.
От менеджера. Как правило, менеджер человек не молчаливый и сразу тебе скажет о том, что у тебя проблемы с подходом к тестировании: мало - добавить, много - ограничить и дать более важные таски.
Это всё не правила, но сигналы чтобы сделать выводы о своей работе, о своём подходе. Всё зависит от контекста, от заказчика и от продукта. И по-хорошему, наша задача добиться такого баланса, при котором мы будет тестировать чуть глубже, чем требуется на проекте. Так мы с одной стороны сохраним свои силы и время для более важных задач. С другой – наша команда, менеджер и заказчик/клиенты будут довольны отсутствием багов и ожидаемым поведением продукта.