Когда тестировщик сам себе злейший враг

Об этом рассказывал Майкл Болтон на закрытии Heisenbug 2018 Piter. Видеозапись скоро откроют для публичного просмотра, я же хочу поделиться тем, что вынесла из выступления для себя.

В своем докладе Майкл выделил 3 основные проблемы тестирования:

1. Менеджеры и разработчики не понимают, что такое тестирование.
2. Тестировщики не понимают, что такое тестирование.
3. Тотальное ослепление автоматизацией.

И, так как тестировщики зачастую не могут объяснить менеджерам и разработчикам, что же такое тестирование, вылезают все эти вопросы: сколько тест-кейсов написано, сколько тестов пройдено, сколько заавтоматизированно и так далее.

На самом же деле все, что хотят менеджеры, это — получить ответ на вопрос:

Есть ли проблемы, которые угрожают ценности продукта, или своевременному успешному завершению проекта?

Что такое тестирование?

Вернемся к истокам: объект исследования тестировщика — программа. И здесь важно понимать, что:
Программа — это способ передачи информации между людьми при помощи аппаратного и программного обеспечения.

Отсюда вытекает основная задача тестировщика — ответить на вопрос:

Получаемый нами продукт достаточно хорош для того, чтобы люди были довольны им?

Для того, чтобы ответить на этот вопрос одних требований и ТЗ недостаточно. Задача тестировщика — искать проблемы, о которых не сказано в документах.

У пользователя может быть масса проблем при взаимодействии с продуктом, и наша задача их предупредить, предугадать. Можно сказать, что тестировщики — это социальные агенты менеджеров и клиентов.

Тестировать — это:

• Изучать продукт, искать проблемы, находить их и сообщать о них.
• Узнавать, как продукт не работает или может не работать (там, где это важно для наших клиентов).
• Разрушать необоснованное доверие к продукту.
• Сохранять надлежащий скептицизм в отношении продукта.

Таким образом, настоящая работа тестировщика нематериальна — это производимая им информация, истории, идеи о продукте, а не написанные тест-кейсы или автотесты.

Что не так с автотестами?

• Нет автоматизированного тестирования
• Есть автоматизированные проверки

Проверки — лишь малая часть тестирования.
Проверки могут быть быть автоматизированы. И это хорошо.
Проверки направлены на подтверждение того, что мы знаем или надеемся на то, что оно так работает.

Однако для того, чтобы понять наш продукт и риск возникновения проблем, которые имеют значение для людей, нам необходимо сделать больше, чем проверить результаты автоматизированных проверок. Нам необходимо тестировать!

И тут Майкл показал просто обалденную майнд-карту того, как он видит тестирование! И не просто показал, а на память оттараторил все пункты!

Я привожу скриншот карты с выступления, она действительно потрясающе подробная и всеобъемлющая. Если овладеть ей на уровне профессионала, то тестировщику не составит труда объяснить, что такое тестирование, а также роль автоматических проверок и тест-кейсов в нём.

В принципе, на этой майнд-карте можно было бы и остановиться — изучить её, освоить на практике, внести что-то своё. Но Майкл идёт дальше, отвечая на вопросы как можно перестроить процессы тестирования в компании так, чтобы применение подобной эвристики было возможно. А именно:

• Как тестировать продукт без тест-кейсов?
• Как вводить новичков в продукт?
• Чем заменить отчеты, основанные на прохождении тест-кейсов?
• Когда тестирование на самом деле закончено?
• Как избежать ловушки измерения качества?
• Так ли хорош устойчивый план регрессии?

Ответам на эти вопросы я посвящу отдельные сообщения, так как материал довольно обширен.

В завершении выступления Болтон напомнил о важности того, как мы думаем и говорим, и как это влияет на то, как мы работаем, и как нашу деятельность воспринимают другие члены команды. Он предложил паттерны нового мышления тестировщика, использование которых позволит перестроить свое мышление на новый уровень — ответственное, позитивное и всеобъемлющее, а также развить в команде понимание и принятие тестировщика и его работы. Подробнее об этом я также расскажу в отдельном сообщении.

Также Майкл сказал о необходимости постоянного саморазвития, и поделился своей майнд-картой личностного роста, вот она:

Это было потрясающее выступление — как по объему информации, так и по энергетическому посылу. Сейчас я нахожусь в процессе осмысления и продумывания того, что и как я могу внедрить в свою жизнь.