4. На этом этапе разработки прогноза предполагается наиболее активная работа экспертов по определению и оценке ключевых событий, наступление которых ожидается в прогнозируемом промежутке времени.
Предыдущий этап разработки прогноза дает информацию, необходимую аналитической группе для проведения экспертизы,
Экспертам представляется информация о наиболее вероятном изменении внутренних и внешних условий, на основе ранее проведенного анализа формулируются вопросы, на которые должны быть получены ответы в результате проведения экспертизы, намечаются наиболее вероятные сценарии развития событий.
Процедуры организации и проведения экспертиз в настоящее время достаточно детально разработаны. Здесь мы наметим лишь основные моменты при работе с экспертами в процессе разработки прогноза, остановившись более подробно на способах получения экспертной информации.
В зависимости от природы объекта прогнозирования, от характера оценок и суждений, которые должны быть получены в процессе проведения экспертизы, определяются конкретные способы организации и проведения экспертизы.
Экспертизы могут быть однотуровые и многотуровые, анонимные и предусматривающие открытый обмен мнениями, с обменом информацией в процессе проведения экспертизы и без него и т. д.
При сравнительной оценке объектов, при прогнозе количественных и качественных значений параметров прогнозируемого объекта используются достаточно разнообразные методы, начиная от различных модификаций метода Делфи и кончая разнообразными процедурами метода "мозговой атаки" [4].
Здесь мы должны лишь подчеркнуть, что характер экспертной информации, которую предполагается использовать при разработке прогноза, накладывает определенные требования на выбор конкретного метода организации и проведения экспертизы.
Если прогнозируемый объект является достаточно сложным, комплексным, многоаспектным, то целесообразно использование комплексных методов организации и проведения экспертизы.
При проведении экспертизы для разработки прогноза аналитическая группа должна подготовить анкеты, содержащие вопросы, на которые должен быть получен ответ при разработке прогноза.
В зависимости от технологического уровня организации и проведения экспертизы анкеты могут быть подготовлены кaк на бумажном, так и на машинном носителе.
Второй способ позволяет более эффективно и значительно менее трудоемко осуществлять получение, анализ и обработку:
экспертной информации при разработке прогноза.
При этом процедура экспертного оценивания может осуществляться непосредственно за дисплеем компьютера в интерактивном режиме, т. е. в режиме диалога, когда на дисплее компьютера выводятся последовательно вопросы, на которые эксперт должен дать ответ.
Ответы каждого эксперта вводятся в компьютер, а затем производятся все необходимые расчеты и анализ.
Для получения экспертной информации может использоваться и такой способ, как интервьюирование [9], когда в свободной форме, но по заранее намеченному плану эксперт дает оценки и суждения, необходимые при разработке прогноза
Причем при интервьюировании возможен отход от заранее намеченного плана. Интервьюер должен обеспечивать получение возможно более обоснованных оценок.
Если эксперт при ответе на некоторые вопросы чувствую себя неуверенно, то их лучше исключать из интервью, что, как правило, способствует получению более надежной экспертной информации.
Для получения экспертной информации при разработке прогноза возможно использование метода смешанного анкетирования, когда при работе с экспертом используются элементы как анкетирования, так и интервьюирования.
5. Подготовленная на предыдущих этапах информация, в том числе и полученная от экспертов, используется при непосредственной разработке прогноза. Как правило, маловероятны случаи, когда заранее известно, в каком направлении будут происходить изменения внутренних и внешних условий, какая стратегия будет выбрана организацией при том или ином развитии событий. Ведь развитие организации в прогнозируемом будущем зависит
от различных факторов, в также от их сочетания и взаимодействия.
Из сказанного следует, что при стратегическом планировании и в других случаях использования прогнозов необходимо рассматривать различные альтернативные варианты развития событий, как благоприятные, так и неблагоприятные.
Так, гитлеровское руководство перед нападением на Советский Союз рассматривало только один возможный вариант развития событий — благоприятный. Оно принципиально отказывалось рассматривать возможность, а значит, и заранее готовить необходимые ресурсы и резервы на случай неблагоприятного развития событий.
Однако, как показало дальнейшее развитие событий, такой "упрощенный" подход к стратегическому планированию и прогнозированию хода военных действий явился одной из основных причин краха фашистской Германии.
На предыдущих этапах были определены наиболее вероятные изменения основных внутренних и внешних условий, определяющих ход прогнозируемых событий.
Для наиболее вероятных альтернативных вариантов их изменений должны быть разработаны наиболее вероятные альтернативные варианты развития прогнозируемых событий.
Если одной из целей разработки прогноза являлось определение динамики развития количественных показателей и параметров, то, используя полученный на предыдущих этапах разработки прогноза объем информации (количественной и качественной) и соответствующие методы экстраполирования (определения изменения прогнозируемых показателей и параметров в будущем), рассчитываются кривые их изменения в прогнозируемом промежутке времени.
Однако далеко не всегда мы располагаем необходимой информацией для использования количественных методов экстраполяции.
Это может быть отсутствие (в частности, характерное для современного этапа экономической жизни России) необходимых для расчетов статистических данных, поскольку прежние экономические зависимости и закономерности изменились.
Поэтому нередко единственным способом экстраполяции показателей и параметров на прогнозируемый промежуток времени остается способ построения экспертных кривых.
Экспертные кривые отражают оценку динамики прогнозируемых значений показателей и параметров экспертами.
Формируя экспертные кривые, эксперты определяют критические точки, в которых тенденция изменения значений прогнозируемых показателей и параметров может измениться под действием тех или иных факторов.
А затем в каждой из критических точек, расположенных на оси времени, оцениваются ожидаемые значения прогнозируемых показателей и параметров, а также характер их изменения в интервале между двумя соседними критическими точками.
Нередко эксперты ограничиваются лишь указанием значений прогнозируемых показателей и параметров в критических точках.
В этом случае мы получаем дискретные экспертные кривые, представляющие собой отрезки ломаной линии, соединяющей значения прогнозируемых показателей и параметров в критических точках.
Пример дискретной экспертной кривой приведен на рис. 5.2.
При разработке вариантного прогноза должна быть произведена экстраполяция прогнозируемых значений показателей и параметров для различных вариантов исходных условий и для различных возможных альтернативных вариантов динамики их изменения.
Наряду с экстраполяцией прогнозируемых значений показателей и параметров, особенно в случае привлечения экспертов для разработки прогноза, каждый альтернативный вариант разрабатываемого прогноза может сопровождаться содержательным описанием прогнозируемого развития событий.
6. Априорная и апостериорная оценка качества прогноза. Оценка качества прогнем — одна из центральных проблем в процессе разработки управленческих решений. Степень доверия к разработанному прогнозу во многом влияет на принимаемое решение и сказывается на эффективности управленческих решений принимаемых с использованием разработанного прогноза.
Однако, как это ни кажется неожиданным, оценка качества прогноза является достаточно сложной задачей не только в момент, когда прогноз только разработан (априорная оценка), но и в момент, когда прогнозируемое событие уже произошло (апостериорная оценка).
Рис 5.2. Экспертная кривая прогнозируемого курса доллара относительно рубля
Прежде чем приступить к обсуждению оценки качества прогноза, отметим тот важный для более четкого понимания процесса принятия решения факт, что качественный прогноз при принятии решения может быть использован по-разному.
Если со стороны руководства организации не оказывается значительное воздействие на ход развития событий, а лишь осуществляется наблюдение за ним, то гаосле окончания прогнозируемого периода необходимо лишь сопоставить значения с прогнозированных показателей и параметров с полученными в действительности.
Это позволяет оценить качество разработанного прогноза апостериорно.
В то же время, пожалуй, более действенным может оказаться использование результатов разработанного прогноза в случае, когда ЛПР может оказать влияние на ход развития событий. Примером такого влияния может являться, в частности, корректировка управляющих воздействий: на основании ожидаемых спрогнозированных значений показателей и параметров.
Это так называемый активный прогноз. Однако если в результате анализа спрогнозированных значение показателей и параметров ЛПР изменил управляющие воздействия, которые, в свою очередь, изменили развитие прогнозируемых событий, причем нередко в сторону более благоприятную для ЛПР, то вряд ли корректно первоначально разработанный прогноз считать неточным.
Если бы прогноз не был разработан, то не было бы принято и последовавшее за его разработкой эффективное управленческое решение.
Теперь вернемся к проблеме априорной оценки качества разработанного прогноза. Ведь неточный прогноз целесообразнее отвергнуть, чем воспользоваться его результатами.
После того как прогноз разработан, должны быть определены критерии, по которым точность прогноза может быть оценена.
Как правило, для оценки прогноза используются два метода: дифференциальный или интегральный [9].
При дифференциальном методе оцениваются наборы оценок отдельных составляющих качества прогноза, имеющих достаточно четкий объективный смысл.
В частности, могут использоваться такие критерии, как ясность и четкость задания на прогноз, соответствие прогноза заданию, своевременность разработки прогноза, профессиональный уровень разработки прогноза, надежность использованной информации и т. д.
Интегральный метод предполагает обобщенную оценку качества прогноза на базе оценки качества прогноза по частным критериям.
Однако в ряде случаев этот способ оказывается недостаточно убедительным, поскольку к оценке качества прогноза по частным критериям вольно или невольно добавляется необходимость оценки сравнительной важности критериев и их влияния на интегральную оценку.
Примером использования интегрального метода может служить критерий "интегральное качество экспертного прогноза" [9], оценка прогноза по которому предполагает, в частности, и оценку по перечисленным выше частным критериям.
Если говорить об экспертном прогнозе, то его качество определяется прежде всего такими частными критериями, как:
компетентность (или в более общем виде качество) эксперта;
качество информации, предоставляемой экспертам;
качество экспертной информации, поступающей от экспертов;
уровень технологии разработки прогноза или, иными словами, качество методов и процедур, используемых при разработке прогноза.
Если период прогнозирования уже завершился, то необходимо сопоставить спрогнозированные значения показателей и параметров с полученными в результате реализовавшегося в действительности хода прогнозируемых событий.
И здесь на первый план выступает вопрос: по какому критерию оценивать качество прогноза апостериорно?
Сложность этой проблемы отражает вошедший в историю спор между Галилео Галилеем и его современником Ноццилино о точности оценок стоимости лошади, одним оценщиком
оцененной в 10, а другим — в 1000 скудо и проданной впоследствии за 100 скудо.
По мнению Ноццилино, более точным оказался первый оценщик, поскольку он ошибся всего на 90 скудо, а второй — на 900. Однако Галилео Галилей с ним не согласился, указав, что и первый, и второй ошиблись одинаково: в 10 раз [9].
Аналогичный спор в 70-х годах XX в. разгорелся между сотрудником Питсбургского университета Д. Фордом и одним из ведущих сотрудников "РЭНД корпорейшн" — Н. Дэлки о том, какой из использовавшихся методов обработки данных дал более точные результаты.
И здесь причиной разногласий стал выбор различных критериев оценки уже полученного результата.
В работе |9| дана классификация различных критериев апостериорной оценки качества прогнозов и объяснена причина расхождения в мнениях различных специалистов относительно сравнительной точности прогнозов.
Она состоит в том, что каждый из отстаивавших свою точку зрения специалистов использовал критерии оценки точности прогнозов, относящиеся к разным классам.
Естественно, что у них при этом получились противоположные оценки одних и тех же результатов.
В качестве примера критериев оценки точности прогноза можно привести следующие:
Х — прогнозировавшееся значение оценки показателя,
И — истинное значение оценки показателя,
К^ и К^ равны абсолютной величине соответственно разности ЛГ и И и натурального логарифма их отношения.
Если же для установления качества прогноза необходимо воспользоваться многокритериальными оценками, то получение точной сравнительной оценки качества прогноза требует как профессионального знания области, к которой относится объект прогнозирования, так и профессионального владения методами многокритериального оценивания, которые будут обсуждены нами в следующем разделе.
Для проведения такой оценки необходимо принять во внимание все основные факторы, определяющие качество разработанного прогноза.