Приемочное тестирование что это
Приемочное тестирование
Ключевые преимущества
Основные этапы приемочного тестирования
Сопровождение клиента во время проведения приемочных тестов (заведение дефектов, отслеживание корректности и скорости выполнения тестирования). Возможно проведение приемочного тестирования полностью силами специалистов «Апланы», в таком случае услуга ничем не отличается от ручного функционального тестирования.
Инструменты
Для выполнения проверки используются инструменты ведущих вендоров: HP Application Lifecycle Management, IBM Rational Quality Manager и IBM Rational Team Concert.
Направления приемочного тестирования
Проверка системы на способность выполнять свою роль в среде эксплуатации согласно бизнес-модели
Проверка пригодности системы для внедрения конечными пользователями
Проверка независимой командой тестирования
Тестирование внешними пользователями, потенциальными клиентами
Протестируем системы любой сложности: поисковые, биллинговые, процессинговые, SAP и многие другие
Провести тестирование функционала CRM при взаимодействии со смежными системами.
Была протестирована интеграционная цепочка из трех ESB-сервисов по получению информации о пластиковых картах клиентов банка.
Усилить внутрибанковские компетенции в области автоматизации тестирования и развернуть инфраструктуру управления жизненным циклом прикладного программного обеспечения.
Выбрана функциональность, покрывающая следующие бизнес-области: лимиты, мониторинги, фондирование, планирование кредитных и некредитных операций.
В задачи проекта входили: анализ требований, подготовка тест-кейсов, поддержка тестирования разработчиков, внутреннее системное тестирование (включая интеграционное), приемочное тестирование.
Функциональное тестирование системы осуществлялось в процессе ее внедрения. Была проведена проверка широкого спектра интерфейсов и back-end-разработок. Проектная команда «Апланы» осуществила проверку взаимодействия Oracle Siebel CRM с системами ЦФТ РБО, 1С, скоринга, а также с функционалом колл-центра..
говориМ о тестировании
простым языком
Основы тестирования. Виды тестирования по критерию уровня
Что за уровни тестирования? Что тестируется на каждом из них? Какие у них цели? Разберем в статье.
Чтобы было проще разбираться во всех терминах, давайте упростим изучение и разобьем виды тестирования на две составляющие:
1. Уровни тестирования
2. Типы тестирования
Причем, различные типы тестирования могут выполняться на разных уровнях тестирования. Зрительно это можно представить следующим образом:
В первую очередь рассмотрим уровни тестирования. Выделяют 4 основных уровня тестирования:
1. Компонентное/модульное тестирование (Component/Unit Testing).
2. Интеграционное тестирование (Integration Testing).
3. Системное тестирование (System Testing).
4. Приемочное тестирование (Acceptance Testing).
Каждый уровень тестирования направлен на определенную часть программы и выполняет свои цели.
Компонентное/модульное тестирование
Этот вид тестирования выполняется на самой ранней стадии разработки программы — во время написания кода. Обычно его выполняет сам программист, который пишет код. Следовательно, ошибки, в большинстве случаев, исправляются сразу же и не попадают к специалистам по тестированию.
Как видно из названия, модульное тестирование направлено на тестирование отдельных модулей и компонентов программы, которые изолированы от других модулей и компонентов. Поэтому его стоит совмещать с другими видами тестирования, сам по себе он малоэффективен.
Для этого уровня тестирования характерно несколько целей:
1. Проверка компонента на соответствие требованиям,
2. Обнаружение ошибок в компоненте,
3. Предотвращение пропуска ошибок на более высокие уровни тестирования.
С помощью компонентного тестирования мы снижаем риски и укрепляем свою уверенность в качестве продукта. К сожалению, этот уровень тестирования требует большой ответственности и ресурсов со стороны разработки, и в большинстве случаев на него нет времени. Поэтому, такое тестирование редко используется в компаниях.
Интеграционное тестирование
В общем случае различают два вида интеграционного тестирования:
— Компонентное интеграционное тестирование. Как видно из названия, оно необходимо для того, чтобы протестировать работу модулей в связке друг с другом.
— Системноеинтеграционное тестирование. Если с предыдущим уровнем тестирования все понятно, то с системным интеграционным тестирование все несколько сложнее. Этот уровень необходим для тестирования систем друг с другом.
Давайте рассмотрим на примере. Предположим мы разрабатываем игру для смартфона. Сама игра является системой, которую необходимо протестировать. Кроме этого, есть еще сервисы, которые взаимодействуют с игрой и такое взаимодействие тоже должно быть проверено. Таких сервисов достаточно много, хотя на первый взгляд их трудно заметить. Каждый из них является системой, которая интегрируется в нашу игру.Например, игра может поддерживать социальную сеть Facebook, чтобы можно было играть с друзьями. В этом случае, необходимо протестировать корректно ли работает вход в социальную игру через нашу игру, можем ли мы видеть список друзей и т.д.
Для этого уровня тестирования также характерно несколько целей:
1. Проверка интерфейсов на соответствие требованиям.
2. Обнаружение ошибок в интерфейсах.
3. Предотвращение пропуска ошибок на более высокие уровни тестирования.
С помощью интеграционного тестирования мы снижаем риски и укрепляем свою уверенность в качестве продукта.
Системное тестирование
Системное тестирование — это тестирование еще более высокого уровня. Напомню, что на компонентном тестировании мы тестируем отдельные модули, а на интеграционном — связь между компонентами. При системном тестировании наша задача уже состоит в том, чтобы убедиться в корректности работы в целом всей системы. Программа в этом случае должна быть максимально приближена к конечному результату. А наше внимание должно быть сосредоточено на общем поведении системы с точки зрения конечных пользователей.
Для этого уровня тестирования также характерно несколькоцелей:
1. Проверка системы на соответствие требованиям.
2. Обнаружение ошибок в системе.
3. Предотвращение пропуска ошибок на более высокие уровни тестирования.
С помощью системного тестирования мы снижаем риски и укрепляем свою уверенность в качестве продукта.
Приемочное тестирование
Приемочное тестирование — наиболее высокий уровень тестирования. Оно, также как и системное тестирование, необходимо для проверки работы программы в целом.
Тут также смещаются цели тестирования. Ошибок на этом этапе уже не должно быть. Скорее наоборот, программа должна быть максимально рабочей и пригодной для использования. Если на данном этапе обнаруживается критичные дефекты, то есть большая вероятность того, программа была плохо протестирована на предыдущих уровнях.
Этот уровень тестирования используется для подтверждения готовности продукта и проводится преимущественно в самом конце цикла разработки программы.
У приемочного тестирования есть также несколько целей:
1. Показать, что программа завершена и готова к использованию так, как от нее ожидалось.
2. Проверить, что работа программы соответствует установленному ТЗ или требованиям.
Также, на этом уровне тестирования мы показываем уверенность в качестве системы.
По версии ISTQB существует несколько форм приемочного тестирования:
1. Пользовательское приемочное тестирование.
2. Эксплуатационное приемочное тестирование.
3. Контрактное и нормативное приемочное тестирование.
4. Альфа- и Бета-тестирование.
Пользовательское приемочное тестирование предназначено для проверки программы, как если бы ее использовал конечный пользователь. В этом случае мы должны убедиться, что все функции и части работают так, как задумывалось в требованиях. Если вернуться к примеру с программой по поиску такси, то мы должны быть уверены, что такси вызывается корректно, можно оплачивать поездку через программу, оставлять отзывы, отменять вызов и так далее.
С другой стороны стоит эксплуатационное приемочное тестирование. Его отличие заключается в том, что мы проводим тестирование не с позиции пользователей, а с позиции тех, кто будет поддерживать работу программы. Наша задача — убедиться в работоспособности таких аспектов, как:
1. Возможность резервного копирования и восстановления данных.
2. Установка, удаление и обновление программы.
3. Восстановление после полного падения системы.
4. Управление пользователями.
5. Возможность сопровождения (обслуживания).
6. Возможность загрузки и миграции данных.
7. Отсутствия уязвимостей.
8. Хорошая производительность.
Если программа разрабатывается у сторонней компании, то иногда заключается контракт, в котором оговорены условия приемки. Проверка на соответствие таким критериям проводится при контрактном приемочном тестировании.
Альфа- и Бета- тестирование используется, когда есть необходимость в получении обратной связи от пользователей. Поэтому именно они участвуют в таких проверках. Отличие альфа-тестирования от бета-тестирования заключается в том, что альфа-тестирование проводится внутри компании на потенциальных пользователях, а бета-тестирование проводится в ограниченном кругу конечных пользователей программы.
Такое часто распространено в играх. Игрокам сначала показывается бета версия игры, а через некоторое время игра выходит в релиз и становится доступной для всех.
Для наглядности все уровни тестирования можно представить следующим образом:
В реальной жизни рисунок может быть и другой формы, например, прямоугольник или перевернутая пирамида.
Приемочное тестирование что это
Выбор стратегии часто зависит от требований контракта, корпоративных стандартов и сферы применения приложения.
Формальное приемочное тестирование
Формальное приемочное тестирование это тщательно спланированный процесс, и часто он является продолжением системного теста. Тесты разрабатываются также детально, как и системные тесты. Тестовые наборы должны быть подмножеством тестовых наборов системных тестов. Важно не отклоняться от выбранных тестовых наборов. Во многих организациях формальное приемочное тестирование является полностью автоматическим.
Задачи и рабочие продукты те же самые, что и при системном тестировании. Иногда приемочное тестирование выполняет специальная группа тестирования, включающая представителей конечных пользователей. В других случаях приемочное тестирование выполняется группой, состоящей только из представителей заказчика или уполномоченных им.
Ниже приведены преимущества этой формы тестирования:
Недостатки перечислены ниже:
Неформальное приемочное тестирование
При неформальном приемочном тестировании процедуры тестирования не планируются так тщательно, как при формальном приемочном тестировании. Хотя тестируемые функции и свойства определены, нет жестко определенных тестовых наборов. Тестирующий определяет метод тестирования. Этот подход менее контролируем, чем формальное тестирование, и более субъективен.
Ниже приведены преимущества этой формы тестирования:
Недостатки перечислены ниже:
Бета-тестирование
Ниже приведены преимущества этой формы тестирования:
Недостатки перечислены ниже:
© Copyright IBM Corp. 1987, 2006. Все права защищены..
Приемочное тестирование
Приемочное тестирование – это комплексное тестирование, необходимое для определения уровня готовности системы к последующей эксплуатации. Тестирование проводится на основании набора тестовых сценариев, покрывающих основные бизнес-операции системы.
Как правило, данный вид тестирования реализуется конечными пользователями системы, однако привлечение опытных тестировщиков сократит время на подготовку к тестированию и позволит повысить качество и надежность проводимых испытаний.
Ключевые преимущества
⦁ Позволяет обнаружить системные нарушения.
⦁ Позволяет обнаружить дефекты, связанные с удобством и простотой использования.
⦁ Привлечение опытных компетентных специалистов позволяет грамотно, качественно и в заданные сроки провести процесс приемки тестирования.
Основные этапы приемочного тестирования
Подготовка — Включает разработку ПиМИ (программы и методики испытаний) и подготовку приемочных тестов.
Проведение — Сопровождение клиента во время проведения приемочных тестов (заведение дефектов, отслеживание корректности и скорости выполнения тестирования). Возможно проведение приемочного тестирования полностью силами специалистов, в таком случае услуга ничем не отличается от ручного функционального тестирования.
Отчет – Компании клиенту предоставляется подробный отчет с перечнем ошибок, которые нужно устранить перед запуском системы в эксплуатацию.
Направления приемочного тестирования
Операционное тестирование — Проверка системы на способность выполнять свою роль в среде эксплуатации согласно бизнес-модели
Альфа-тестирование — Проверка независимой командой тестирования
Пользовательское тестирование — Проверка пригодности системы для внедрения конечными пользователями
Бета-тестирование — Тестирование внешними пользователями, потенциальными клиентами
Операционное тестирование
Операционное тестирование (OAT) проводится с целью убедиться, что система выполняет свою роль в среде эксплуатации согласно бизнес-модели. Данный вид тестирования проводится до пользовательского приемочного тестирования.
Ключевые преимущества
⦁ Снижение риска появления ошибок после выхода системы в промышленную эксплуатацию.
⦁ Снижение нагрузки на администраторов системы.
Основные задачи
В рамках операционного тестирования проводятся проверки:
⦁ тестирование устойчивости при возникновении ошибок в одной из компонент системы или при возникновении ошибок в сети;
⦁ проверка появления соответствующих сообщений об ошибках;
⦁ проверка отката и восстановления системы.
Пользовательское тестирование
Пользовательское тестирование (User Acceptance Testing — UAT) проводят конечные пользователи системы, с целью определить пригодность системы для внедрения. Тестирование проходит на последнем этапе испытаний.
Ключевые преимущества
⦁ Проведение тестирования в максимально короткие сроки;
⦁ Снижение нагрузки на пользователей за счет осуществления всех подготовительных работ командой опытных тестировщиков;
⦁ Повышение качества приемочного тестирования.
Основные задачи
Задача проведения пользовательского тестирования – оказать помощь конечным пользователям системы в подготовке и проведении испытаний.
Для этого проводятся следующие работы:
⦁ Разработка плана и методики приемочного тестирования;
⦁ Разработка детального описания сценариев тестирования;
⦁ Организация и координация работ в ходе пользовательского тестирования.
Альфа-тестирование
Альфа-тестирование – это ручное тестирование потенциальными пользователями, заказчиками или независимой командой тестирования на стенде разработки. Альфа-тестирование часто используется как форма внутреннего приемочного тестирования перед проведением бета-тестирования.
Ключевые преимущества
Альфа-тестирование позволяет фильтровать, уточнять и передавать разработчикам поступающие дефекты с подробным описанием, что значительно сокращает время, а также позволяет сокращать трудозатраты разработчиков на поиск причины дефекта и его исправление.
Основные задачи
В рамках проведения альфа-тестирования компании модераторы краудтестинга решают следующие задачи:
⦁ подготовка расписания тестирования;
⦁ организация участников тестирования;
⦁ отбор и уточнение поступающих замечаний;
⦁ регистрация дефектов в багтрекинговой системе.
Бета-тестирование
⦁ Бета-тестирование проводится после альфа-тестирования и может использоваться как приемочное тестирование внешними пользователями. Бета-версия системы передается группе пользователей вне команды разработки, чтобы снизить количество дефектов. Иногда версия передается нескольким командам, чтобы получить обратную связь от как можно большего количества будущих пользователей.
Ключевые преимущества
⦁ Получение отзывов и пожеланий от потенциальных пользователей продукта Компании клиента.
⦁ Повышение качества проведенного тестирования в заданные сроки, так как компания модератор краудтестинга отслеживает и способствует устранению проблем, возникающих у участников тестирования, а также проблем, связанных с тестовой средой.
Основные задачи
⦁ Поиск группы потенциальных пользователей, готовых протестировать систему.
⦁ Контроль, отбор и уточнение поступающих дефектов и пожеланий.
⦁ Оформление дефектов в багтрекинговую систему.
⦁ Подготовка и предоставление промежуточных и итоговых отчетов по результатам тестирования.
UAT тестирование
Прежде чем продавать продукт целевым клиентам, нужно убедиться в том, что пользователи смогут работать с ним так, как этого хочется им. Для этого и пригодится пользовательское приемочное тестирование (User Acceptance Testing). Что это такое, когда и как его использовать — в нашей статье.
Что такое UAT
Это процесс, при котором группа людей изучает эффективность сервиса, его функционала. Другое название — бета-тестирование.
UAT нужен для того, чтобы:
понять, как ведет себя продукт в реальных условиях, соответствует ли результат задумке;
выявить, были ли добавлены все возможные функции;
проверить, есть ли ошибки, которые будут мешать пользователю.
Роль UAT
Тестирование — это одна из составных частей создания проекта. Разработчик продукта должен заострить внимание на каждом из рабочих этапов:
Иллюстрация показывает, что пользовательское тестирование контроля за соблюдением всех поставленных требований к проекту.
Типы пользовательского приемочного тестирования
UAT тестирование делится на виды:
На этапе альфа вместо пользователей продукт тестируют сотрудники и другие приближенные к проекту люди. Бета-тест — это следующий шаг, когда для проверки собирается группа потенциальных клиентов. Например, когда разработчики игр рассылают приглашения на тематические ресурсы, чтобы набрать людей.
Контрактное приемочное тестирование.
Используется для проверки: соответствует ли проект всем требованиям соглашения между всеми участниками. Чаще всего процесс необходим при работе с наемной командой разработчиков. Заказчику нужно убедиться, что подрядчик реализовал все задачи.
Законодательное приемочное тестирование.
Помогает удостовериться в том, что продукт не нарушает законы и соответствует всем нормам в пределах конкретной отрасли. Чаще всего проверка нужна для проектов в сфере здравоохранения и финансов.
Операционное приемочное тестирование.
Определяет эффективность процессов, которые происходят вне видимости клиента (внутри компании), но необходимы для реализации всех функций продукта. Этот тип помогает проанализировать сбор данных, защитные системы и так далее.
Тестирование по стратегии черного ящика.
Предназначен для изучения причинно-следственной связи между пользовательским взаимодействием с продуктом и результатом, который получается за счет этого. На этом этапе людям объясняют, для чего предназначен продукт, но как именно он работает они изучают самостоятельно.
Когда продукт готов к проведению UAT
Пользовательское тестирование нельзя начинать только по собственному желанию. Продукт должен быть готов к нему. Для этого соблюдаются некоторые условия:
Четко сформулировать бизнес-требования.
Требования излагаются в документах user acceptance testing, чтобы:
все стороны пришли к соглашению;
сформулировать, как разработчики видят продукт;
собрать информацию для следующих стадий работы;
описать, как продукт решит проблемы пользователей, удовлетворит потребности бизнеса и клиентов.
Продукт должен работать на максимум.
UAT testing не относится к функциональным тестам. Он не пригоден для поиска сбоев в работе, багов и ошибок. Вместо этого пользовательское тестирование нацелено на юзабилити — функционирует ли все таким образом, как это было задумано. Если на данный момент проект требует доработок, то он еще сырой для UAT.
Ошибки нужно регистрировать, исправлять и повторно тестировать.
При разработке продукта команда столкнется с проблемами. Для подготовки к пользовательскому тестированию их нужно не только исправлять, но и фиксировать в отдельном файле:
в чем была проблема;
подтверждение, что проводилось тестирование;
Такой метод создает прозрачную структуру и наглядность работы, которая удовлетворит все заинтересованные стороны.
Тестовая команда должна одобрить.
На этом этапе команда разработчиков и остальные стороны проекта подтверждают готовность к бета-запуску среди ограниченного круга пользователей.
Как провести пользовательское приемочное тестирование
User acceptance testing требует соблюдения правил:
План, требования и сроки.
Нужно подготовить план работ и ознакомить с ним все стороны, команду разработчиков. Рекомендуется в письме указать детали, сроки и цели тестирования, затем собрать конференцию с участниками, чтобы выделить основные моменты.
Всю информацию для теста нужно подготовить заранее, чтобы у пользователей не было проблем. В работе могут понадобится объемные таблицы данных, описание параметров.
Настройка тестируемой среды.
В процессе проверок нужно подготовить среду: инсталлировать ПО, софт, настроить программу. Во время тестов может понадобится периодически возвращать продукт в исходное состояние. Чтобы не возникало проблем, пользователям нужно дать инструкции.
У пользователей всегда в доступе должны быть требования к системе, сопроводительные бумаги (даже «help»). Исходная информация позволит команде находить неточности и ошибки.
Контакты для сопровождения.
Пользователям нужно дать контакты лиц, ответственных за поддержку. Если они найдут ошибку, то должны знать, к кому им обращаться.
Участникам тестирования нужно объяснить, кто ответственен за:
требования к продуктам;
технические моменты, связанные с ПО;
вопросы по тестированию;
права, доступы, аккаунты;
установку софта и настройку тестируемой среды.
Нужно дать пользователям информацию о статусе тестирования: какие работы были проделаны, где будут задержки, какие ошибки выявлены. Так они смогут оценить общую картину и понять свою задачу.
Отчет и итоги пользовательского тестирования.
Пользователям нужно предоставить финальный отчет. Он должен показать, на что повлияла работа. В отчете указывают:
какие проблемы были выявлены, их оценка;
планы по исправлению недочетов;
этапы планируемой оптимизации и будущих тестов;
результат приема работы и последующие шаги: будет ли одобрена версия для выпуска, планируется ли доработка.
Дополнительное общение с пользователями.
Нужно наладить неформальное общение с участниками процесса. Это могут быть звонки с вопросами о том, как идет работа, есть ли трудности и даже простое «как дела».
Заключение
User acceptance testing — это емкий и важный процесс для подготовки проекта к выпуску. Следуя правилам, можно предоставить пользователям и заказчикам качественный, отлично протестированный и отлаженный продукт. Если тестирование крупное, можно подключить профессиональных тестировщиков.