- •Тема 5 стандартизация оценивания технологических процессов жизненного цикла и характеристик качества программных средств
- •5.1. Оценивание уровня зрелости процессов жизненного цикла и обеспечения качества программных средств
- •5.2. Оценивание жизненного цикла программных средств по стандарту iso 15504
- •5.3. Оценивание качества готового программного продукта по стандарту iso 14598
- •5.4. Организация и средства для оценивания качества комплексов программ
- •5.4.1. Модель внешней среды
- •5.4.2. Испытания программного продукта
- •5.4.3. Альфа– и Бета–тестирование
- •5.4.4. Программная генерация тестов
- •5.4.5. Обработка результатов испытаний
5.4. Организация и средства для оценивания качества комплексов программ
5.4.1. Модель внешней среды
Характеристики качества функционирования ПС зависят не только от их внутренних свойств, но и от свойств среды, в которой они применяются (ISO 12119). Для сокращения неопределенностей и прямых ошибок при оценивании качества ПС необходимо до начала испытаний определить основные параметры внешней среды, при которых должен функционировать комплекс программ с требуемыми характеристиками при оценивании его качества. Для этого заказчик и разработчик совместно должны структурировать и описать модель внешней среды и ее параметры в среднем типовом режиме применения ПС, а также в наиболее вероятных или критических режимах. Такая модель должна фиксировать характеристики:
внешних потоков информации, в том числе их распределение по видам источников и возможности дефектов;
интенсивность и структуру типовых сообщений от пользователей и их необходимую квалификацию;
возможных негативных и несанкционированных воздействий от внешней среды при применении ПС;
вычислительных средств, на которых предназначено функционировать ПС с требуемым качеством.
При сопоставлении результатов оценивания характеристик качества с требованиями ТЗ разработчик или поставщик обязан удовлетворять требования только в пределах согласованных параметров модели внешней среды. Оценивание качества ПС за этими пределами должно дополнительно согласовываться испытателями с разработчиком. При этом невыполнение требований может квалифицироваться как их расширение за пределы контракта и не учитываться при оценивании заказчиком характеристик качества ПС.
5.4.2. Испытания программного продукта
Внутренние квалификационные испытания качества ПС (испытания главного конструктора), которые зачастую совмещаются с завершением комплексной отладки, должны оформляться документально. Они являются основанием для предъявления ПС заказчику на квалификационные испытания для завершающего оценивания характеристик качества программного продукта (ISO/IEC 12207, ISO 16326).
Любые испытания ограничены допустимым количеством и объемом проверок, а также длительностью работы комиссии испытателей, поэтому не могут гарантировать абсолютную проверку качества программного продукта. Для повышения достоверности определения и улучшения оценивания характеристик ПС после внутренних испытаний программы целесообразно передавать некоторым пользователям на опытную эксплуатацию в типовых условиях. Это позволяет более глубоко оценить эксплуатационные характеристики созданного комплекса и устранить некоторые дефекты и ошибки. Опытную эксплуатацию целесообразно проводить разработчиками с участием испытателей и некоторых пользователей, назначаемых заказчиком.
Оценивание качества программного продукта при квалификационных приемо-сдаточных испытаниях проводятся аттестованной сертификационной лабораторией или комиссией заказчика, в которой участвует руководитель (главный конструктор) разработки и некоторые ведущие разработчики (ISO 10006:1997, ГОСТ 34.603–92).
Комиссия при испытаниях должна руководствоваться следующими документами:
утвержденными заказчиком и согласованными с разработчиком контрактом, ТЗ и спецификациями требований на ПС;
действующими государственными и ведомственными стандартами на ЖЦ и испытания программ, на технологическую и эксплуатационную документацию, а также согласованными для использования с заказчиком стандартами де-факто;
программой испытаний по всем требованиям контракта, ТЗ и спецификаций;
методиками испытаний, охватывающими каждый раздел требований ТЗ и спецификаций;
комплектом эксплуатационной документации на комплекс программ.
Программа испытаний является планом проведения серии экспериментов и должна разрабатываться с позиции минимизации объема тестирования в процессе проведения испытаний для оценивания выполнения требований ТЗ и соответствия предъявленной документации (см. п.5.3).
Программа испытаний, методики их проведения и оценки результатов, разработанные совместно заказчиком и разработчиком, должны быть согласованы и утверждены. Они должны содержать уточнения и детализацию требований ТЗ для данного ПС, гарантировать корректную проверку всех заданных характеристик качества.
Программа испытаний должна содержать следующие четко сформулированные разделы:
объект испытаний, его назначение и перечень основных документов, определивших его разработку;
цель испытаний с указанием всех требований контракта, ТЗ и характеристик ПС, подлежащих оцениванию, и ограничений на проведение испытаний;
собственно программу испытаний, содержащую проверку комплектности и характеристик ПС на соответствие ТЗ, и план тестирования для оценивания по всем разделам ТЗ;
методики испытаний, однозначно определяющие все понятия проверяемых характеристик, исходные данные, условия и сценарии тестирования, аппаратные и программные средства, используемые для оценивания;
методики обработки, оценивания и обобщения результатов тестирования по каждому разделу программы испытаний.
Большой объем разнородных данных, получаемых при испытаниях крупномасштабных ПС, и разнообразие возможных способов их обработки, интерпретации и оценивания приводят к тому, что важнейшими факторами достоверного оценивания качества становятся методики обработки и оценки результатов, а также протоколы проверки по пунктам программы испытаний.
В соответствии с методиками испытаний средства автоматизации должны обеспечивать полноту и необходимую достоверность проверок характеристик по каждому разделу методик. Результаты испытаний фиксируются в протоколах (ISO 12119:1994), которые обычно содержат следующие разделы:
идентификация тестируемого ПС или компонента;
назначение тестирования и раздел требований ТЗ, по которому проводились испытания;
использованные исходные документы;
указания методик, в соответствии с которыми проводились испытания, обработка и оценивание результатов;
план, условия и сценарии тестирования и характеристики исходных данных;
обобщенные результаты испытаний с оценкой полученных характеристик, их соответствия требованиям ТЗ и другим руководящим документам, а также технической документации;
перечень и содержание несоответствий результатов требованиям и документам;
выводы о результатах испытаний и соответствии характеристик созданного ПС определенному разделу ТЗ и эксплуатационной документации.
Протоколы по всей программе испытаний обобщаются в акте, в результате чего делается заключение о степени соответствия ПС требованиям заказчика и о завершении работы с положительным или отрицательным итогом.
Наиболее полным и разносторонним испытаниям должна подвергаться первая базовая версия ПС. При испытаниях очередных модернизированных версий ПС возможны сокращения объемов тестирования повторно используемых компонентов. Однако комплексные и завершающие испытания каждой новой версии ПС проводятся в полном объеме, гарантирующем проверку выполнения всех требований измененного ТЗ.
Для возможности выявления дефектов в процессе эксплуатации серийных образцов ПС в каждом из них должен быть предусмотрен некоторый минимум средств проверки функционирования и автоматического обнаружения искажений результатов. Этот минимум средств должен позволять фиксировать условия неправильной работы программ и характер проявления дефектов.
При завершающих приемо-сдаточных испытаниях основное внимание, кроме проверок функциональной пригодности, должно сосредоточиваться на подготовке стрессовых тестов, на тестировании в режимах предельного использования ресурсов, на оценивании надежности функционирования ПС (ISO 14756). Задача испытателей и заказчика состоит в выделении условий состояния внешней среды и областей изменения переменных, которые недостаточно проверены разработчиком и важны для последующего функционирования и применения программ. При этом разработчик контролирует, чтобы планируемые сценарии и тесты не выходили за границы областей, заданных ТЗ и спецификацией требований.
До начала испытаний подлежат проверке и паспортизации средства, обеспечивающие получение эталонных данных, средства имитации тестов от внешних объектов, средства фиксирования и обработки результатов тестирования.
Методическая достоверность приемо-сдаточных испытаний и оценивания характеристик качества ПС определяется следующими факторами:
полнотой программы испытаний и корректностью методик тестирования по охвату возможных условий и сценариев функционирования программ и областей изменения исходных данных;
достоверностью и точностью эталонных значений характеристик, с которыми сравниваются результаты тестирования испытываемой программы;
адекватностью и точностью моделей, используемых для имитации тестов от внешней среды;
точностью и корректностью регистрации и обработки результатов тестирования, сравнения полученных характеристик с требованиями ТЗ.