книги из ГПНТБ / Синавина В.С. Оценка качества функционирования АСУ. (Исследование достоверности обработки информации)

информации (Д ) справедливо, в общем виде, выражение Д = 1 —Р. Следовательно, для оценки степени достовер­ ности информации (Д ) необходимо ■вычислить вероят­ ность появления в ней ошибок Р, что вполне осуществи­ мо с помощью традиционных статистических методов.

Вероятность ошибок определяется на основе стати­

Рможно выразить уравнением

Р=

где б — число ошибок и Q — объем информации. Часто­

та ошибок 6* = -^- по мере увеличения случаев все боль­

ше приближается к вероятности Р, и поэтому в прак­ тических целях вероятность появления ошибок (Р) можно с известным приближением заменить частотой ошибок (б*).

В связи с этим для количественной оценки достовер­ ности информации целесообразно пользоваться не пря­ мой величиной достоверности (Д), а обратной величи­ ной — недостоверностью информации, измеряемой ча­ стотой ошибок в ней б*. Например, если частота ошибки

В последующих главах и при изложении результа­ тов обследования ВЦ для количественной оценки до­ стоверности нами принята величина ее недостоверной части, измеряемой частотой ошибок, т-. е. количеством ошибок б, содержащихся в выбранной нами единице объема на ІО4 знаков информации (6* = 610-4).

Оценка достоверности информации по частоте оши­ бок, содержащихся в ней, должна способствовать вы­ явлению «узких мест» в работе ВЦ в случае низких показателей достоверности обрабатываемой информа­ ции на основе анализа причин возникновения ошибок и определения конкретных виновников, что должно при-

10

вести к повышению качества работы ВЦ. Но для того чтобы можно было судить об уровне достоверности ин­ формации, обрабатываемой на ВЦ, необходимо уста­ новить, какой должна быть величина этого уровня, т. е. иметь норматив достоверности информации, допустимой для определенных условий. Отклонение вектора факти­ ческой достоверности от нормативного вектора позво­ лит судить о качестве работы ВЦ.

Однако достоверность информации недостаточно оценивать только для выходной информации, выдавае­ мой заказчику. Как будет видно из дальнейшего изло­ жения (см. главу II, § 8), часть ошибок не обнаружи­ вается на конечной операции технологического процесса ВЦ (операции контроля выпуска). Эти ошибки «пере­ ходят» к заказчику, т. е. это количество ошибок и оп­ ределяет истинную достоверность информации, обрабо­ танной ВЦ. Следовательно, оценку достоверности информации, обработанной ВЦ, необходимо делать не только по выходной информации ВЦ, выданной заказ­ чику, но и по количеству ошибок, выявленных самим заказчиком.'

Этот показатель достоверности выходной информа­ ции ВЦ является главным, результирующим показате­ лем, характеризующим качество работы ВЦ в целом.

Вместе с тем оценка достоверности информации в процессе ее обработки на ВЦ имеет также определен­ ный практический смысл. Анализ уровня достоверно­ сти по этапам технологического процесса должен выя­ вить, какие участки ВЦ недостаточно обеспечивают тре­ буемую достоверность. Соответствующие методы и рекомендации позволят устранить и предотвратить воз­ никающие ошибки.

Рассматривая этот вопрос в более широком плане, не­ обходимо отметить, что систематическое исследование достоверности информации по этапам технологического процесса ее обработки будет являться важным сред­ ством в решении проблемы выбора рационального тех­ нологического процесса обработки информации на. ВЦ. Кроме того, такой анализ позволит в известной мере определить эффективность методов контроля, применяе­ мых по этапам технологического процесса ВЦ. Дело в , том, что даже при самых совершенных методах контрой' •ля некоторая часть ошибок, имеющихся в информации, ■.

11

ізсе же не обнаруживается и эти ошибки могут «пере­ ходить» с одного этапа обработки на другой, вплоть до конечной операции обработки информации на ВЦ. Од­ нако каждая контрольная операция обнаруживает ошибки в информации, не только сделанные операто­ ром своего участка, но и пропущенные контролем пре­ дыдущих участков. В этом своеобразном «фильтре» до: стнгается последовательное уменьшение количества не­ обнаруженных ошибок и сведение их к минимуму на конечной операции ВЦ.

На основе приведенной методологии разработаны от­ дельные методики исследования проблемы достовер­ ности, которые излагаются в последующих параграфах настоящей главы.

§ 2. МЕТОДЫ ПРОВЕДЕНИЯ СТАТИСТИЧЕСКОГО ОБСЛЕДОВАНИЯ ДОСТОВЕРНОСТИ ИНФОРМАЦИИ, ОБРАБАТЫВАЕМОЙ В ВЦ

Сбор статистических данных об ошибках, обнару­ женных при обработке информации на ВЦ, проводился двумя методами: 1) методом массового статистического наблюдения в течение более года и 2) методом выбо­ рочных обследований отдельных вычислительных цент­ ров.

Проведение метода массового еокедневного статисти­ ческого наблюдения дает возможность выявить коли­ чество, частоту, структуру ошибок и причины их возник­ новения при обработке информации на различных ВЦ на протяжении длительного периода. Проведение такого наблюдения и сбофа данных по ряду ВЦ является, од­ нако, недостаточным для полноценного исследования, поскольку оно выполняется непосредственно персоналом ВЦ без отрыва от основной работы и в силу этого огра­ ничено количеством исследуемых показателей. В ряде случаев оно может носить субъективный характер, ис­ кажающий в какой-то мере объективное состояние на­ блюдаемого ВЦ. Поэтому метод проведения единовре­ менного массового учета ошибок в информации, обра­ батываемой на ВЦ, дополнен методом выборочного об­ следования отдельных ВЦ с целью проверки правиль­ ности ведения ежедневного учета ошибок и получения

12

дополнительных данных по более широкому кругу во­ просов. Второй метод выборочного обследования осу­ ществлялся научными сотрудниками Научно-исследова­ тельского института ЦСУ СССР.

Для получения сопоставимых результатов оба мето­ да базируются на единой методологической основе и од­ нотипных формах обследования. Для проведения ста­ тистического обследования были разработаны следую­ щие документы:

1)форма № 1. Сведения об обнаруженных ошибках

вежедневно контролируемой информации на вычисли­ тельном центре (см. приложение 1);

2 ) перечень контрольных операций, по которым долж­

ны быть получены сведения об обнаруженных ошибках (см. приложение 2);

3)классификатор вида ошибок, выявленных при об­ работке информации (см. приложение 3);

4)классификатор причин ошибок, выявленных при обработке информации (см. приложение 4);

5)методические указания о порядке подсчета коли­ чества ошибок и объемов информации, обрабатываемой

иконтролируемой на этапах и операциях технологичес­ кого процесса (см. приложение 5);

6) инструкция по проведению выборочного обследо­

вания отдельных ВЦ.

Рассмотрим содержание некоторых из этих докумен­ тов, регламентирующих порядок и сущность статисти­ ческого обследования.

1. Специальная статистическая форма № 1 — Све­ дения об обнаруженных ошибках в ежедневно контро­ лируемой информации на вычислительном центре с ука­ занием видов ошибок и причин их появления — служит для регистрации обнаруженных ошибок в объеме обра­ батываемой информации.

Многострочная, двухсторонняя форма № 1 состав­ лена в виде таблицы с учетом математической и логи­ ческой зависимости показателей, что весьма удобно при обработке на ЭВМ.

Выбор показателей для статистического сбора дан­ ных по форме № 1 произведен с учетом основных фак­ торов, влияющих на достоверность обрабатываемой ин­ формации, которые перечисляются и анализируются в главе II.

13

Заполнение формы № 1 в процессе статистического обследования возложено на контролеров, для которых эта работа является прямой служебной обязанностью. Вместе с тем форма № 1 иа контрольных операциях технологического процесса обработки информации мо­ жет служить отчетом о проделанной работе контролера­ ми за день. Ввиду того что контролер проверяет рабо­ ту, выполненную иногда несколькими операторами, представляется возможным фиксировать обнаруженные ошибки каждого оператора. Такой учет целесообразно Вести каждому ВЦ.

На десятый день -по истечении отчетного месяца за­ полненные экземпляры формы посылаются в НИИ ЦСУ, а на последующий месяц заводится новый бланк этой формы. Форма подписывается контролером-эконо- мистом и визируется главным инженером ВЦ.

По отдельным графам формы (см. приложение 1) необходимо сделать следующие пояснения:

графы 1— 11 заполняются по пачкам обрабатываемых документов за каждый рабочий день (объединение дан­ ных за несколько дней не рекомендуется);

графа 2 — наименование работы указывается в соот­ ветствии с сопроводительным ярлыком; оно должно дать возможность судить о характере решаемой на вычис­ лительном центре задачи (статистическая, бухгалтер­ ская, плановая и т. п.);

графа 3 — основной единицей измерения информа­ ции принимаются знаки (буквенные и цифровые);

графа 4 — если в качестве носителя контролируе­ мой информации является перфокарта, то указывается количество перфорируемых колонок (45—80);

графа 5 — указывается шифр метода контроля (на­ пример, верификация, логический контроль, счетный кон­ троль, визуальный и т. п.) в соответствии с шифрами разработанного перечня методов контроля информации (см. приложение 2).

Если в данном перечне отсутствует шифр метода контроля, в графе 5 записывается название данного ме­ тода контроля;

графа 6 — объем контролируемой информации за­ писывается с точностью до двух десятичных знаков. Так, например, если в документах содержится 6253 знака, то в графу 6 записывается величина 6,25. При подсчете

14

объемов следует учесть, что на операции машинной обработки кроме объема вводимой информации с пер­ фокарт или перфолент должен учитываться объем ус­ ловно-постоянной информации, вводимой путем обра­ щения к магнитной ленте. Порядок подсчета объемов информации на различных этапах технологического про­ цесса указан в приложении 5;

графа 7 — время, затраченное на контроль данного объема информации выражается в часах (минуты пе­ реводятся в доли часа). По операциям машинной об­ работки в графе 7 в числителе указывается время ре­ шения задачи, а в знаменателе — время на устранение сбоя и отказа;

графа 8 — шифр вида ошибки (например, пропуск строки, пропуск знака и т. п.) определяется по разра­ ботанному примерному классификатору вида ошибок (см. приложение 3). Если в данном классификаторе от­ сутствует шифр вида обнаруженной ошибки, то в графе 8 вместо шифра записывается название данного вида ошибки;

графа 9 — количество обнаруженных ошибок запи­ сывается в соответствии с единицей измерения, указан­ ной в графе 4. На операции контроля машинной обработ­ ки данные фиксируются дробью: в числителе — количе­ ство ошибочно записанной информации на магнитной ленте, в знаменателе — количество сбоев;

графа 10 — шифр причины ошибки (например, не­ опытность оператора, неисправность оборудования и т. п.) дается по разработанному классификатору причин ошибок (см. приложение 4). Если в классификаторе от­ сутствует шифр причины обнаруженной ошибки, то в графе 10 вместо шифра записывается название данной причины ошибки;

графа 11 служит для отдельных пояснений по строкам формы. В эту графу записывается наименова­ ние используемых машинных методов контроля, коли­ чество сбоев (отказов) и т. п.

2. Перечень контрольных операций, по которым должны быть получены сведения об обнаруженных ошибках, приведен в приложении 2.

По усмотрению руководства ВЦ данный типовой пе­ речень операций может быть дополнен, исходя из осо­ бенностей соответствующего технологического процес­

15

са. Шифры контрольных операций, необходимые для механизированной обработки данных, построены по десятичной системе, состоящей из двух знаков. Первый знак шифра характеризует этап технологического про­ цесса; второй знак обозначает наименование метода контроля. Такое построение шифра операций позволяет суммировать количество ошибок по этапу в целом и определять достоверность обрабатываемой информации на данном этапе. Подсчет обнаруженных ошибок по второму знаку шифра дает возможность оценить эф­ фективность обнаружения ошибок различными метода­ ми контроля.

3. Классификатор вида ошибок при обработке ин­ формации предназначен для учета ошибок в обра­ батываемой информации по каждому их виду. Класси­ фикатор предусматривает 80 видов ошибок, встречаю­ щихся в практике работы ВЦ.

Шифр вида ошибок трехзначный и построен по де­ сятично-серийной системе кодирования информации. Первый знак характеризует этап технологического про­ цесса, два последних знака устанавливают вид ошибоч­ ной информации. Все' эти виды ошибок подразделяются на следующие группы:

группа 100. Виды ошибок, связанных с состоянием первичных документов;

группа 200. Виды ошибок, связанных с переносом данных на машинные носители (перфокарты, перфо­ ленты) ;

группа 300. Виды ошибок, связанных с машинной об­ работкой на ЭВМ;

группа 400. Виды ошибок, связанных с контролем и выпуском результативных таблиц (табуляграмм).

Ошибки в пределах каждой группы классифициру­ ются по отдельным подгруппам (полнота пачки доку­ ментов, искажение документа, искажение показателей и др.). На каждую такую подгруппу отводится серин номеров..

4. Классификатор причин ошибок, выявленных при обработке информации, предназначен для учета и ана­ лиза ошибок, допускаемых при выполнении технологи­ ческих операций.

'Причины ошибок определяются контролером по каж­ дому виду ошибки. По классификатору предусмотрено

16

более 50 причин ошибок. Шифр причин ошибок трех­ значный, построен с учетом механизированной обработ­ ки статистических данных по десятично-серийной систе­ мекодирования информации. Первый знак шифра характеризует этап технологического процесса, два последних знака характеризуют причину появления дан­ ных ошибок. В классификаторе выделяются две основ­ ные разновидности причин ошибок: причины, возникаю­ щие по вине операторов, и причины, возникающие из-за неисправности оборудования.

5. Основными вопросами при проведении выборочно­ го обследования отдельных ВЦ являлись:

описание и оценка организации технологического про­ цесса обработки информации на ВЦ с выделением как передового опыта новых прогрессивных методов рабо­ ты, так и имеющихся недостатков, обусловливающих сни­ жение уровня достоверности информации;

выборочная проверка работы операторов с различ­ ной квалификацией и стажем работы;

выявление мероприятий, проводимых на ВЦ по по­ вышению достоверности обработки информации;

исследование дополнительных вопросов (помимо ука­ занных в форме № 1) на отдельных операциях техно­ логического процесса:

на этапе приемки и контроля входных данных:

влияние многострочиости и двусторонней формы первичного документа на величину допускаемых оши­ бок;

влияние четкости заполнения документа на величи­ ну допускаемых ошибок;

на этапе переноса данных на носители:

наличие двойного (повторного) контроля на отдель­ ных операциях, их необходимость и эффективность;

сравнительная оценка достоверности информации, переносимой на перфокарты и перфоленты;

на этапе ведения условно-постоянной информации:

объем и частота обновления условно-постоянной ин­ формации, хранимой на магнитных лентах;

на этапе машинной обработки информации на ЭВМ:

сравнительный анализ эффективности различных мето­ дов контроля при машинной обработке информации;

влияние профилактики оборудования на повышение достоверности обработки информации;

17

і

методы контроля исправности оборудования (тесты и т. п.) и их эффективность;

на этапе контроля и выпуска информации:

описание способов размножения выходной информа­ ции.

Перечисленные основные вопросы при проведении выборочного обследования уточнялись и дополнялись об­ следователями в зависимости от специфики работы от­ дельных ВЦ.

Данные выборочного обследования вычислительных центров были сведены также в форму № 1. Они обра­ батывались отдельно и сопоставлялись с данными, по­ лученными непосредственно от ВЦ.

§ 3. МЕТОДЫ ОБРАБОТКИ И АНАЛИЗА РЕЗУЛЬТАТОВ СТАТИСТИЧЕСКОГО ОБСЛЕДОВАНИЯ ВЦ

• Конечной целью проведенного статистического обсле­ дования ВЦ. как уже упоминалось выше, является оп­ ределение фактического уровня достоверности информа­ ции, обрабатываемой на различных ВЦ страны. Для того чтобы определить пути повышения достоверности об­ работки информации, на основе полученных статистиче­ ских данных должны быть выявлены имеющиеся общие закономерности и зависимости достоверности информа­ ции и существенные факторы, оказывающие влияние на возникновение ошибок. Обобщение и анализ получен­ ных статистических данных должны послужить отправ­ ным моментом для установления нормативов достовер­ ности, уровень выполнения которых мог бы служить од­ ним из основных показателей качества работы ВЦ.

Поставленная цель обобщения и анализа результа­ тов статистического обследования ВЦ должна быть реа­ лизована с помощью определенных методов, описывае­ мых ниже.

Учитывая большой объем полученных статистических данных, их обработка и анализ потребовали применения методов, основанных на использовании электронно-вы­ числительной техники. Краткое описание этих методов дается в последовательности разработанных алгоритмов с указанием основных технологических операций обра-

18

Блок-схема 1. Блок-схема технологического процесса обработки на ЭВМ данных формы № 1 по учету ошибок в информации, обраба­ тываемой на ВЦ

ботки полученных статистических данных на ЭВМ. Для выполнения поставленной задачи были разработаны и применены следующие два метода:

1) метод'группировки статистических данных с полу­ чением соответствующих таблиц и средних статистичес­ ких оценок;

2 ) метод регрессионного и корреляционного анализа статистических данных.

Первый метод осуществлялся по технологии, пока­ занной на блок-схеме 1.

Полученные по форме № 1 исходные данные комп­ лектовались в три массива. В первый массив вошли до­ кументы ВЦ системы ЦСУ СССР, во второй — доку­ менты ВЦ системы министерств и ведомств, в третий —

19