ГОССТАНДАРТ РОССИИ - ПАКЕТЫ ПРОГРАММ Требования к качеству и тестирование

- указание ошибок ввода непосредственной засветкой на входном экране;

- привлечение внимания пользователя к изменению содержания экрана путем подачи визуального или звукового сигнала.

Исполнение функций, приводящих к серьезным последствиям при эксплуатации системы, должно быть обратимым, или программы должны выдавать четкие предупреждения о последствиях выполнения данных функций и запрашивать разрешающее подтверждение перед выполнением соответствующей команды. В частности, к серьезным последствиям могут привести стирание или перезапись данных, а также прерывания режима продолжительной обработки.

Если текст документа предоставляется в диалоговом режиме, то пользователю следует обеспечить возможность непосредственного доступа к отдельным структурным элементам текста (разделам, пунктам, абзацам и т.д.), например путем выбора данных элементов из отображенного на экране содержания документа или с помощью функции поиска по ключевым словам.

3.3.4 Эффективность

Ничего не требуется. Однако в описании продукта должны присутствовать соответствующие формулировки эффективности.

3.3.5 Сопровождаемость

Ничего не требуется. Однако в описании продукта должны присутствовать соответствующие формулировки сопровождаемое™.

3.3.6 Мобильность (переносимость)

Ничего не требуется. Однако в описании продукта должны присутствовать соответствующие формулировки мобильности.

4 Указания по тестированию

Указания, приведенные в 4.1-4.5, определяют порядок тестирования продукта на соответствие его требованиям к качеству. Данные указания охватывают как тестирование для характеристик, присущих всем аналогичным продуктам, так и тестирование для характеристик, продекларированных в описании продукта. Указания также охватывают как тестирование путем проверки документов, так и тестирование программ и данных по принципу «черного ящика».

Данные указания описывают функциональное тестирование (тестирование по принципу «черного ящика»). Структурное тестирование данными указаниями не охватывается, потому что для его проведения необходимо наличие исходного кода.

Рассматривают только тестирование продукта в необходимых для него системах. Эргономическую оценку на рабочем пространстве вычислительной системы в настоящем стандарте не рассматривают.

Примечания:

1 Данные указания предназначены в первую очередь для тестирования, проводимого третьей стороной по некоторой схеме сертификации (см. 1 с). При производстве дешевле и эффективнее использовать структурное тестирование.

2 В разделе 4 отсутствуют требования к пакетам программ (все данные требования приведены в разделе 3). Пакет программ может быть аттестован без проведения тестирования согласно разделу 4, а подобная процедура может оказаться неэффективной для выявления существующих в продукте несоответствий.

3 Так как необходимая система определяется в описании продукта, то любое несоответствие продукта в необходимой системе трактуется как несоответствие продукта.

4 Схема сертификации может предусматривать тестирование на соответствие необязательным рекомендациям.

5 Руководство по эргономической оценке приведено в ИСО 9241-11 [16].

4.1 Необходимые условия для тестирования

4.1.1 Наличие компонентов продукта

Для тестирования пакета программ должны иметься в наличии все его поставляемые компоненты (см. 3.1.2 h), а также нормативные документы, указанные в описании продукта (см. 3.1.2 е).

4.1.2 Наличие компонентов системы

Для тестирования пакета программ необходимо наличие составных частей всех вычислительных систем, указанных в описании продукта.

4.1.3 Обучение

Если в описании продукта указана необходимость соответствующего обучения, то испытатель (тестировщик) должен иметь доступ к учебным материалам и обучающим программам.

4.2 Работы по тестированию

Описание продукта, документация пользователя, программы и любые данные, поставляемые как части пакета программ:

- должны быть протестированы на соответствие требованиям раздела 3;

- могут быть протестированы на соответствие рекомендациям раздела 3.

Цели тестирования должны быть определены исходя из требований раздела 3 и должны охватывать все эти требования (полноту, непротиворечивость и т.д.).

Если в описании продукта упомянуты другие продукты, то их необходимо протестировать только по требованиям, предъявленным к ним в описании тестируемого продукта.

Подробные формулировки из описания продукта, документации пользователя, функций и данных для продукта тестировать нет необходимости, если по оценке тестировщика:

- они оказывают незначительное влияние на соответствие названной рабочей задаче;

- они могут быть протестированы в принципе, но с неоправданными затратами ресурсов.

Те подробные формулировки, которые не были протестированы, должны быть указаны в протоколах тестирования и в отчете о тестировании. Причины, по которым они не были протестированы, должны документироваться в протоколах тестирования.

4.2.1 Описание продукта

Должно быть протестировано выполнение соответствующих требований раздела 3, а выполнение рекомендаций раздела 3 может быть протестировано.

4.2.2 Документация пользователя

Должно быть протестировано выполнение соответствующих требований раздела 3, а выполнение рекомендаций раздела 3 может быть протестировано.

4.2.3 Программы и данные

Должно быть протестировано выполнение соответствующих требований раздела 3, а выполнение рекомендаций раздела 3 может быть протестировано.

Программы должны быть протестированы во всех вычислительных системах, указанных в описании продукта.

При наличии нескольких вариантов программы должен быть протестирован каждый из них. Каждая из функций, которые в соответствии с описанием продукта и документацией пользователя одинаковы в ряде вариантов, может быть протестирована в одном из вариантов.

Поставляемые программы и данные должны быть протестированы с использованием контрольных примеров, разработанных на основе описания продукта и документации пользователя. Другие материалы (например, исходные программы) не проверяют, за исключением случаев, когда это необходимо при тестировании формулировок из описания продукта или документации пользователя.

Контрольные примеры должны быть методологически и систематически проработаны.

Примечание - Допускается использование методологии тестирования с применением случайных кодов.

Если в документации пользователя приведены примеры, то они должны быть использованы в качестве контрольных, но проводимое тестирование не должно быть ограничено только этими примерами.

Могут быть использованы контрольные примеры, предоставляемые поставщиком программного пакета, но проводимое тестирование не должно быть ограничено только этими примерами.

Если в соответствии с описанием продукта установка пакета может быть выполнена пользователем, должна быть проверена возможность инсталляции программ и протестирована возможность успешной установки пакета согласно описанию, приведенному в руководстве по установке.

Любым способом должно быть обеспечено, чтобы техническая и программная среда, в которой установлены программы, соответствовала формулировкам из описания продукта в части рассматриваемой вычислительной системы.

Контрольные примеры должны охватывать все функции, приведенные в описании продукта и документации пользователя, а также должны учитывать комбинации функций, характерные для рабочей задачи.

Программы должны быть протестированы по всем граничным значениям (в соответствии с описанием продукта и документацией пользователя) в необходимой системе, для которой заданы эти значения.

При тестировании должны быть использованы исходные данные и последовательности команд, которые в документации пользователя явно не рекомендуются или объявляются запрещенными (см. 3.3.2).

4.3 Протоколы тестирования

Протоколы по каждому тесту должны содержать информацию, достаточную для повторения теста (Руководство ИСО/МЭК 25 [6]). Данная информация должна включать:

- план тестирования или технические требования (спецификацию) к тестированию, содержащие контрольные примеры (для каждого контрольного примера указаны его цели, см. 2.6);