Количественные методы оценки: Экспертные оценки. Методы экспертной оценки товаров

Механизм потребительского выбора достаточно консервативен, поскольку базируется, как правило, на использовании только того, что уже хорошо себя зарекомендовало. В значительной степени он ориентирован на прошлое, чем на возможное будущее.

В условиях рынка основой оценки качества продукции должна стать объективная общественная полезность продукции, что будет отражать ее прогрессивность и соответствие чертам нового быта. Одним из методов, который может обеспечить именно такую оценку продукции, может стать экспертный метод.

Экспертный метод оценки качества продукции предусматривает выяснение мнения экспертов.

Эксперт – это квалифицированный специалист, который соответствует требованиям профессиональной и квалиметрической компетентности, деловитости и объективности, а также заинтересованный в работе экспертной комиссии.

Использование экспертных методов рационально при наличии одной из двух причин:

задание не может быть выполнено никаким другим методом;

другие методы выполнения задания или менее точные, или более трудоемкие.

Экспертные методы совместно с другими или самостоятельно могут быть использованы для:

классификации продукции;

определения номенклатуры показателей качества продукции;

определения коэффициентов весомости отдельных показателей качества;

выбора базовых образцов продукции и определения значений отдельных показателей качества этих образцов;

определение органолептических показателей качества оцениваемой продукции;

определение комплексных показателей качества продукции.

Привлечение к работе в экспертных комиссиях высококвалифицированных экспертов позволяет получить точную и воспроизводимую оценку качества товаров. Проведенные эксперименты подтверждают, что при правильной методике экспертной оценке ошибка результатов находится в пределах 5–10 %, и ее целиком можно сопоставить с результатами инструментальных методов.

Для оценки качества продукции экспертным методом создаются экспертные комиссии. Порядок создания, цели и задания такой комиссии определяются приказом или распоряжением руководителя министерства, ведомства, объединения, фирмы. Общий алгоритм операций создания и работы экспертной комиссии, которая использует методы группового опроса, приведен на рисунке 7.1.

Работа экспертной группы заканчивается статистической обработкой экспертных оценок, их анализом и принятием обоснованных решений.

Основные преимущества групповой экспертной оценки заключается в возможности разностороннего анализа проблем, связанных с определением отдельных характеристик товара. Взаимодействие между экспертами увеличивает объем суммарной информации по сравнению с информацией каждого члена группы. При групповой оценке меньше вероятность ошибки конечного результата работы. В большинстве случаев групповая оценка более надежная, чем оценка каждого эксперта в отдельности.

Рабочая группа готовит и проводит экспертную оценку качества продукции. Ее заданием является подготовка экспертов, помощь в проведении оценки качества, обработка, анализ, обобщение результатов и установление коллективного мнения экспертов. Она начинает свою деятельность с подбора экспертов и формирования экспертной группы.

ЦЕЛИ ЗАНЯТИЯ: 1) изучение методов количественной оценки качества экспертов при формировании экспертной группы;

2) использование методов статистической оценки качества экспертов при создании экспертной группы, предназначенной для оценки качества конкретного изделия.

1.ОБЩИЕ ПОЛОЖЕНИЯ

Одним из наиболее важных вопросов, которые приходится решать в процессе экспертной оценки качества продукции, является подбор экспертов. Так же как в метрологии точность результата измерения зависит от точности прибора, которым производится это измерение, так и объективность экспертной оценки, ее точность зависят в основном от квалификации эксперта, его способности к аналитическому мышлению, синтетическому обобщению, от его кругозора, эрудиции, психофизиологических способностей и т.д.

В настоящее время на практике для количественной оценки качества экспертов используются следующие методы:

Эвристические, при которых значение оценок определяются человеком; методы эвристической оценки основаны на том, что представление, сложившееся о данном эксперте у окружающих (или у него самого), достаточно правильно отражает его истинное качество; эвристические оценки включают: самооценку, взаимооценку, оценку эксперта членами рабочей группы.
Статические, при которых значение оценок получаются в результате обработки суждения экспертов об оцениваемой продукции.
Тестовые, при которых значения оценок получаются в результате специальных испытаний, основанных на решении специально подобранных тестовых задач.
Документальные, при которых значения оценок получаются на основе анализа документальных данных об экспертах.
Комбинированные, при которых значения оценок получаются с помощью любой совокупности перечисленных выше методов.

Наиболее обоснованными в настоящее время являются статистические методы оценки качества экспертов, поэтому рассмотрим их более подробно.

К методам статической оценки относят оценку по отклонению от среднего мнения экспертной группы Кос и оценку воспроизводимости результата Квр, которые могут быть получены после обработки результатов специальных опросов, предшествующих операции формировании экспертной группы.

В основе первого метода лежит посылка, что истинным значением определяемой экспертами величины (свойства), является значение средней оценки экспертной группы. Чем меньше отклонение значения индивидуальной оценки, назначенной экспертом, от групповой средней оценки, тем выше качество этого эксперта, которое может быть учтено путем присвоения в результате каждому эксперту соответствующего «веса» или весового коэффициента.

В том случае, когда эксперт определяет численные значения оцениваемых свойств (в баллах, долях единицы или ппроцентах), предлагается использовать в качестве оценки эксперта расстояние между «средним» рядом значений оценок и значениями оценок назначенными данным экспертом. Например:

при этом n

j=1/2А Кi - Кij

где Кi- среднее значение i- той оцениваемой величины (свойства);

Кij- значение i- той величины (свойства), назначенное j -тым экспертом; n

В основе второго метода лежит посылка, что высоким может считаться качество такого эксперта, для которого свойственна воспроизводимость назначаемых значений оценок, т.е. значения оценок одного и того же объекта в нескольких турах должны быть достаточно близкими. В этом случае можно говорить о стабильности его мнения. Способы оценки качества эксперта по воспроизводимости результата аналогичны способам оценки по отклонению от среднего мнения.

В том случае, когда эксперты ранжируют оцениваемые величины (свойства), для количественного выражения их качества или согласованности, чаще всего на практике используется коэффициент конкордации, который вычисляется следующим образом:

m2 (n3 - n) - m Tj

где Si - сумма рангов, присвоенных m экспертами i-тому фактору;

S - среднее значение сумм рангов;

Величины Si и S определяются отношениями:

Si= Кij ; S= Si / n

где j - номер эксперта;

i - номер оцениваемого фактора.

Величина Tj определяется из выражения:

Tj= (t3jl – tjl),

где tjl - число одинаковых рангов 1-го вида в оценках j -того эксперта;

Lj -количество групп факторов с совпавшими рангами в оценках j -того эксперта.

Коэффициент конкордации изменяется в пределах от нуля до единицы и его значение, равное единице, соответствует полной согласованности мнений экспертов. Обычно согласованность мнений экспертов считается достаточной при W >0,5.

Согласованность мнений экспертов может быть случайной или неслучайной. В качестве количественной оценки степени этой случайности используется уровень значимости коэффициента конкордации. Этот уровень находится из таблицы на основе данных о числе степеней свободы n=1 и величины 2 (критерий Пирсона).

Величина 2 определяется по формуле:

mn (n +1) - 1 Tj

Определенный таким образом уровень значимости коэффициента конкордации дает значение вероятности случайного совпадения мнений экспертов, т.е. достоверность оценок. Если согласованность мнений экспертов высокая и неслучайная, то данная экспертная группа может быть принята за основу для экспертной оценки качества продукции. Если же согласованность мнений недостаточная (W<0,5), то анализируя оценки отдельных экспертов, выделяют эксперта (экспертов), имеющего наиболее отличающиеся оценки от общей совокупности оценок других экспертов и подсчитывают значение коэффициента конкордации опять. Эту операцию повторяют до тех пор, пока не будет достигнута приемлемая согласованность экспертных оценок. При этом рекомендуется, чтобы количество оставшихся экспертов было не менее 2/3 от первоначального состава экспертной группы. В противном случае требуется заново сформировать экспертную группу. Для решения большинства задач по экспертной оценке качества продукции, оптимальными могут считаться экспертные группы, включающие от 7 до 20 экспертов.

II Самостоятельная работа.

Задание 1. Для заданного аналога оцениваемого изделия, произвести экспертную оценку эргомических свойств, в соответствии с разработанной иерархической структурой свойств этого изделия (см. практическое занятие №2). Определить численные значения соответствующих эргономических показателей, руководствуясь следующей оценочной шкалой:

Произвести необходимую статистическую обработку полученных данных с целью оценки качества каждого эксперта, участвующего в эксперементе. Результаты выполнения задания рекомендуется представить в виде следующей таблицы:

						Число совпавших оценок	Максимальное отклонение

Задание 2. Используя экспресс-метод экспертной оценки качества, произвести ранжирование ряда предложенных изделий (3…5 шт.), аналогичных оцениваемому изделию, в зависимости от уровня их качества произвести необходимую статистическую обработку полученных данных с целью оценки качества каждого эксперта, участвующего в эксперементе. Результаты выполнения задания рекомендуется представить в виде следующей таблицы:

	Макси-мальное откло-нение	Сумма отклоне-ний	Число совпавших оценок






Обобщен-ная оценка (средний балл)

В образовательном сервисе

, аспирант , *****@***ru,

ФГОУВПО «Российский государственный университет туризма и сервиса», г. Москва

Success of information system depends significantly on the quality of its functioning, however it is not always possible to define it by the settlement-analytical method. In the article quality questions with reference to information systems of high school are considered. Methodological conditions of an estimation of the quality by means of an expert method are considered. The technology and model of calculation of indicators of an expert estimation of the quality are developed.

Успешность информационной системы в значительной мере зависит от качества ее функционирования, однако не всегда возможно определить его расчетно-аналитическим методом. В статье рассматриваются вопросы качества применительно к информационным системам вуза. Рассмотрены методологические условия оценки качества с помощью экспертного метода. Разработаны технология и модель расчета показателей экспертной оценки качества.

Key words : Quality of information systems, expert estimation, educational service

Ключевые слова : качество информационных систем, экспертная оценка, образовательный сервис

Эффективность информационных систем (ИС) в значительной мере определяется оценкой качества на всех стадиях их жизненного цикла . Особую значимость составляет задача оценки качества функционирования информационных систем в образовательном сервисе, например, в вузовской сфере. Существует несколько направлений в оценке качества, в частности, эвристический, расчетно-аналитический и экспертный. В практике экспертной оценки качества, в частности при экспертной оценке потребительских свойств продукции в основном применяются комплексная и оперативная экспертизы . Однако пока нет методик экспертной оценки качества функционирования информационных систем вуза.

Комплексная экспертиза проводится для всестороннего изучения и оценки качества информационных систем серийно. В связи с этим при экспертизе реализуют системный, комплексный подход к анализу и оценке функционирования ИС. При комплексной экспертизе необходимо получить не только более полную характеристику оцениваемой конкретной ИС, но также и определенный научный, методический и нормативный материал , используемый при проведении оценки качества ИС достаточно широкого класса и назначения.

Оперативная экспертиза основывается на данных, полученных при проведении предшествующих комплексных экспертиз. Этот прием позволяет существенно сократить объем и сроки экспертных работ при достаточной глубине и обоснованности экспертных заключений.

При экспертном методе оценку уровня качества или показателя того или иного свойства ИС можно определить в безразмерных единицах. В случае если результат оценки (экспертного измерения) качества эксперты представляют в виде ранжированного ряда, то численное определение оценок экспертов состоит в следующем.

1. Все объекты оценки (информационная система, ее компоненты, свойства) нумеруются произвольно.

2. Эксперты ранжируют объекты по шкале порядка.

3. Ранжированные ряды объектов, составленные экспертами, сопоставляются.

Пример . Пусть пять экспертов о семи объектах экспертизы Q составили такие ранжированные ряды по возрастающей шкале порядка:

эксперт № 1 –

эксперт № 2 –

эксперт № з –

эксперт № 4 –

эксперт № 5 –

Место объекта в ранжированном ряду называется его рангом. Численное значение ранга в ряду возрастающей шкалы порядка увеличивается от 1 до t. В нашем примере t=1.

4. Определяются суммы рангов каждого из объектов экспертной оценки. В рассматриваемом примере они таковы:

https://pandia.ru/text/78/318/images/image007_78.gif" width="85" height="85 src="> (1) ,

где n – количество экспертов; m - число оцениваемых показателей;

https://pandia.ru/text/78/318/images/image009_66.gif" width="334" height="125 src=">.

Анализируя полученные экспертным методом оценки качества, можно не только указать, какой объект лучше или хуже других, но и на сколько.

Если ранжирование объектов по их качеству осуществлять в табличной форме, то сопоставления и расчеты численных значений экспертных оценок производятся по следующей методике.

Во-первых, составляется таблица, по которой каждый эксперт осуществляет сопоставление и оценку рассматриваемых объектов. При этом каждый i-й объект сопоставляется с другими j-ми объектами сравнения. Если при попарном сопоставлении i-и объект признается лучше j-го, то это условие обозначается цифрой 1, противоположная оценка обозначается -1, а равнокачественные объекты отмечаются в таблице цифрой 0 (ноль).

В таком случае сопоставительная таблица оценок одного эксперта, например, шести ИС, как объектов исследования, будет иметь следующий вид.

Оценки эксперта по объектам

Объект j

Из этой таблицы видно, что предпочтительные оценки данного эксперта получили ИС в такой последовательности: № 5, № 3 и № 1. Предпочтительным в данном случае является ИС № 5.

Данные о предпочтениях всех экспертов группы суммируются и рассчитываются обобщенные предпочтения одних ИС над другими, то есть рассчитывается экспертный показатель качества ИС в виде ее частоты предпочтений.

Частота предпочтения находится как частное от деления всех предпочтений данного объекта на возможное число предпочтений, т. е.

https://pandia.ru/text/78/318/images/image012_50.gif" width="75" height="51 src=">,

где Оценочная деятельность" href="/text/category/otcenochnaya_deyatelmznostmz/" rel="bookmark">оценку объектов , то есть сначала это сделать в одной последовательности, а потом в противоположной. При этом, естественно, количество учитываемых оценок экспертов удваивается и С=m(m-1). В остальном методика расчетов показателей качества не изменяется.

При экспертизе качества ИС могут быть использованы балльные оценки, которые даются непосредственно экспертами или получаются в результате формализации процесса оценки. Эта формализация бывает эвристической или экспериментальной.

Непосредственное назначение балльных оценок производится экспертами независимо друг от друга или в процессе обсуждения. Количество баллов в принимаемой оценочной шкале может быть разным. Для оценки показателей качества можно использовать пяти-, семи - или десятибалльную шкалы.

Пример пятибалльной шкалы.

Оценка Число баллов

Отличное качество 5

Хорошее качество 4

Вполне удовлетворительное качество 3

Удовлетворительное качество 2

Плохое качество 1

Пример семибальной шкалы.

Оценка Число баллов

Качество очень высокое 7

Качество высокое 6

Качество выше среднего 5

Качество среднее 4

Качество ниже среднего 3

Качество низкое 2

Качество очень низкое 1

Обобщенный показатель качества K экс , определяемый экспертным методом по балльной системе исчислений, находят как среднее арифметическое значение оценок, поставленных всеми экспертами и вычисляют по формуле

https://pandia.ru/text/78/318/images/image021_27.gif" width="84" height="53 src=">,

где -- значение показателя качества, полученное в каждом туре; m -- число туров опроса.

Эвристическая формализация экспертных оценок заключается в определении зависимости между значениями параметрических показателей и их оценками в баллах. На основании этого строится график или разрабатывается математическая формула, которые позволяют выражать балльную оценку показателей качества в натуральных единицах измерений , например, производительность ИС как число выдаваемых пользователю документов в единицу времени.

При экспериментальной формализации устанавливают соотношение значений балльных оценок со значениями показателей, определяемыми в результате эксперимента. Следует отметить, что экспертный метод определения значений показателей качества с использованием способа экспериментальной формализации оценок экспертов является более объективным, чем без такой формализации .

В экспертной оценке можно применять так называемый социологический метод оценки качества ИС. Этот метод, как и экспертный, основан на опросах, мнениях, но не специальных экспертов, а различных пользователей ИС – студентов, преподавателей, аспирантов, сотрудников управления, научного сектора вуза и др. Этот социологический метод можно считать модификацией экспертного. Социологический метод определения значений показателей качества продукции является по существу маркетинговым и осуществляется с помощью не экспертов, а фактических или потенциальных потребителей результатной информации, выдаваемой ИС. Сбор мнений потребителей производится опросом или с помощью распространения и заполнения специальных анкет-вопросников, а также путем организации конференций, выставок, аукционов, опытно-показательной эксплуатации и т. п.

Экспертный метод можно эффективно применять и для оценки качества отдельных компонентов ИС – технических средств, программных продуктов, базы данных , лингвистических средств и др.

Литература

1. Исаев оценки качества информационных систем. М.: ИМСГС, 20с.

2. Орлов принятия решений. М.: Изд-во «Март», 20c.

3. Литвак оценки и принятие решений. М.: Патент, 19с.

Экспертный метод оценки качества продукции предусматривает выяснение мнения экспертов.

Использование экспертных методов рационально при наличии одной из двух причин:

· задание не может быть выполнено никаким другим методом;

· другие методы выполнения задания или менее точные, или более трудоемкие.

Экспертные методы совместно с другими или самостоятельно могут быть использованы для:

· классификации продукции;

· определения номенклатуры показателей качества продукции;

· определения коэффициентов весомости отдельных показателей качества;

· выбора базовых образцов продукции и определения значений отдельных показателей качества этих образцов;

· определение органолептических показателей качества оцениваемой продукции;

· определение комплексных показателей качества продукции.

Рис. 7.1. Общий алгоритм операций по созданию и работе экспертной комиссии

Экспертная комиссия состоит из двух групп – рабочей и экспертной.

В состав рабочей группы входят:

· организатор (он же председатель экспертной комиссии) осуществляет методическое руководство работой на всех этапах. Он должен быть квалифицированным специалистом в области методологии оценки качества продукции, знать основы ее производства и процессы, которые могут меть место в данной продукции, при ее производстве, транспортировании и хранении. Он создает рабочую группу; составляет программу работ; принимает участие в опросе экспертов; анализирует результаты каждой операции, а также окончательные итоги, формулирует выводы и предложения на основе полученных результатов проведенной дегустации;

· специалист – это высококвалифицированный работник фирмы, при которой формируется экспертная комиссия. Желательно, чтобы он имел универсальные знания о продукции, касающиеся как ее производства, так и особенностей использования. Задача специалиста – анализ информации, полученной от экспертов, для корректировки дальнейшей работы фирмы. программист. Если оценка качества продукции или обработка результатов производится с использованием компьютерной техники, то основной задачей этого специалиста является разработка программы для проведения такой работы и последующей обработки полученных результатов;

· технические работники разъясняют положенияанкеты, если они не достаточно понятны экспертам, проводят их опрос, получают от экспертов анкеты, могут уточнять результаты, но высказывать свое мнение в отношении оценки экспертов не должны.

Формирование экспертной группы. Организатор и специалист составляют список экспертов (учитывается служебное положение, время и характер работы, профессия). В состав группы должны войти специалисты разных направлений производства и оценки качества товара (проектирования, технологии производства, эстетики, исследования качества).

Экспертная группа может формироваться из работников одной или нескольких фирм, которые выпускают (реализуют)товары данной группы. При этом необходимо учитывать тенденции и взгляды на качество продукции, которые господствуют в данной фирме, служебное положение (субординацию) экспертов, создание и поддержание психологического климата в группе. Желательно отдавать предпочтение созданию экспертной группы на базе одной фирм с приглашением к работе нескольких специалистов других фирм.

Результат работы экспертной комиссии в значительной степени зависит от количества экспертов и их компетентности. Подбор экспертов – это чрезвычайно тяжелая задача. Она связана с тем, что:

· необходимо учитывать индивидуальные способности экспертов, а надежной методики определение этих способностей нет;

· недостаточно изучены психофизиологические особенности человека, от которых в значительной мере зависит работа экспертов;

· существует противоречие между желанием уменьшить затраты на экспертизу путем использования ограниченного количества экспертов для оценки качества широкой номенклатуры товаров и желанием увеличить точность и надежность экспертной оценки.

По мнению Г.Г. Азгальдова и Е.П. Райхмана, компетентность экспертов определяется 4-мя группами свойств (рис. 7.2).

Профессиональная подготовка предусматривает знания различных сторон проектирования и производства продукции, требований потребителей, условий и характера использования (эксплуатации).

Квалиметрическая подготовка обеспечивает четкое понимание экспертом принципов и методов оценки качества продукции, знание методов определения отдельных показателей качества и умение пользоваться ними в процессе практической работы (использование различных типов оценочных шкал, способность различать достаточное число градаций оцениваемой продукции).

Рис. 7.2. Показатели компетентности экспертов

Заинтересованность эксперта в работе экспертной комиссии зависит от многих факторов:

· целей экспертизы;

· характера выводов;

· индивидуальных особенностей эксперта,

· занятости на основной работе;

· возможности использования результатов экспертной оценки в собственной практической работе.

Деловитость эксперта включает подвижность и эластичность внимания (способность быстро переключать внимание с одного показателя на другой); собранность; оперативность; обоснованность выводов; контактность (умение работать с людьми в конфликтных ситуациях); мотивированность выставленной оценки.

Объективность эксперта заключается в том, что он делает выводи на основе действительного уровня качества оцениваемой продукции, а не руководствуется другими мнениями.

Методы оценки компетентности экспертов делят на 5 групп: эвристические, статистические, тестовые, документальные и комбинированные.

Эвристическая (от греч. heurisko – отыскиваю, открываю) оценка эксперта базируется на оценке окружающих людей или самооценке. Существуют такие виды эвристических оценок: самооценка, взаимооценка, оценка рабочей группы.

Самооценка – это метод, при котором оценку собственной компетентности дает сам эксперт. Установлено, что достоверность средней экспертной оценки тем выше, чем больше среднее значение самооценки членов экспертной группы. Между тем необходимо иметь ввиду, что результаты самооценки почти всегда субъективны, что является недостатком этого метода.

З целью повышения точности результатов самооценки ее проводят дифференцированно. Показатель самооценки определяют как функцию двух коэффициентов: информированности и знаний оцениваемой продукции и аргументированности своей оценки. Т.Г. Роднина и Г.О. Вукс предлагают определять информированность и знание экспертом оцениваемой продукции при помощи «Анкеты самооценки» (приложение А). В анкете эксперт отмечает регулярность знакомства с источниками информации, а также степень своего знакомства с оцениваемой продукцией. Самооценка рассчитывается по формуле:

К сам = В эсп I экс,

где К сам – коэффициент самооценки эксперта;

В экс – весомость показателей информированности и знаний;

I экс – оценка, которая зависит от степени информированности.

Пример расчета К сам приведен в приложении Б.

Взаимооценка – это эвристическая оценка эксперта, которая дается другими экспертами, она должна уменьшить субъективность самооценки каждого эксперта. Известно, что существует взаимосвязь между компетентностью эксперта и средней оценкой, которую он получил от своих коллег. Сущность этого вида оценки состоит в том, что каждый член экспертной группы дает оценку всем другим экспертам, а потом рассчитывается средняя оценка каждого эксперта.

Недостатки взаимооценки:

· эксперты могут недостаточно знать один другого;

· на результаты оценки могут влиять взаимные симпатии или антипатии;

· разные эксперты могут неоднозначно воспринимать понятие «компетентность эксперта»;

· использовать взаимооценку только в тех комиссиях, где эксперты хорошо знают друг друга;

· проводить анонимное анкетирование;

· объяснять, что результаты анкетирования будут использоваться только для корректировки оценок товара.

Оценка эксперта рабочей группой – это эвристическая оценка, которая должна дать количественную характеристику заинтересованности эксперта в экспертной оценке и его внимательности в процессе опроса. Оценка дается специалистами-аналитиками, которые проводят опрос экспертов после экспертной оценки продукции. При этом они оценивают отношение экспертов к экспертизе а также их активность при обсуждении результатов. Чаще всего для такую оценку рекомендуют использовать 10–балльную оценку.

Статистическая оценка . – это оценка, полученная после статистической обработки мнений экспертов об объекте оценки. Эти оценки используются с целью уменьшения ошибок, которые возникают при экспертных оценках. Необходимость статистической обработки результатов экспертизы обусловлена тем, что в отличии от измерений, которые проводятся при помощи технических средств и базируется на сравнении неизвестных величин с известными, при экспертных методах часто известная величина отсутствует. К тому же на точность экспертных оценок влияет много факторов объективного и субъективного характера, вследствие чего возникают систематические или случайные ошибки.

Систематическая ошибка – это ошибка, которая постоянно повторяется в процессе данного определения. Основная причина ее появления является недостаточная или неточная информация экспертов. Уменьшить ее можно путем ознакомления экспертов с необходимой информацией до начала работы экспертной комиссии. Систематическую ошибку можно определить по величине отклонения оценки каждого эксперта от среднего значения, полученной в экспертной комиссии.

Случайная ошибка зависит от психофизиологических особенностей эксперта (собранности, внимательности, уверенности в собственной правоте). Она уменьшается, если эксперт часто принимает участие в работе экспертных комиссий и имеет практический опыт.

Оценка объективности эксперта – это оценка способности эксперта к непреднамеренной оценке конкретного образца товара. Это очень важная характеристика компетентности эксперта, которая существенно влияет на точность результатов экспертной оценки.

Тестовые оценки позволяют при помощи тестирования определить психофизиологические особенности экспертов. Их используют для оценки объективности, квалиметрической и профессиональной подготовленности эксперта. Тестирование позволяет оценить личностные черты, чего нельзя сделать никакими другими методами. Недостатком данного метода можно считать невозможность сравнить данные, полученные методом тестирования, с данными, полученными при помощи других объективных методов.

При составлении тестов необходимо придерживаться таких требований:

· эксперт должен понимать постановку тестового задания и условия, которым отвечает его решение;

· вероятность случайного угадывания решения задания должна быть близка нулю;

· тестовое задание должно иметь точный ответ;

· необходимо обосновать приближение тестового задания и реальных задач, которые решает эксперт при оценке качества продукции.

Оценка квалилиметрической подготовки эксперта – это оценка теоретических знаний методов оценки показателей качества продукции и умение их использовать в практической работе. Эта оценка может проводиться путем устного или письменного контроля знаний с использованием тестов.

Несколько сложнее проверить такие знания, как умение использовать различные типы оценочных шкал, определять субъективную вероятность, распознавать достаточное количество градаций показателей качества.

Документальная оценка – это оценка эксперта на основе документов, которые подтверждают его соответствие установленным требованиям. Например, компетентность эксперта может быть подтверждена общими сведениями, которые приводятся в анкете: опыт – копией трудовой книжки; профессиональная подготовка – дипломом профессионального образования; специальная подготовка – аттестатом или свидетельством установленного образца о специальной подготовке; повышение квалификации – соответствующим свидетельством.

Документальная оценка может быть только дополнением к другим методам оценки компетентности эксперта и самостоятельного значения не имеет. Это обусловлено тем, что часть информации, которая есть в документах, дублирует другие оценки.

Комбинированная оценка предполагает использование различных методов оценки компетентности экспертов. Так как различные методы этой оценки имеют свои преимущества и недостатки, то их совместное использование может позволить усилить преимущества и смягчить недостатки отдельных методов.

Контрольные вопросы и задания

1. В чем суть потребительных методов сенсорного анализа?

2. Какие условия необходимо создавать при создании дегустационных комиссий для потребительской оценки?

3. Какие правила необходимо соблюдать при составлении анкеты для потребительской оценки?

4. В чем суть парного и треугольного методов исследования?

5. В чем суть аналитических методов сенсорного анализа?

6. С какой целью чаще всего используют метод оазведения?

7. В чем суть бальной оценки качества товаров?

8. Какие требования необходимо соблюдать при разработке бальной системы оценки качества товара?

9. С какой целью устанавливают коэффициенты значимости показателей качества?

10. В чем суть экспертного метода оценки качества товаров?

11. Назовите основные этапы и операции, имеющие место при проведении экспертной оценки.

12. Какие существуют методы оценки компетентности экспертов?

13. Охарактеризуйте основные методы оценки компетентности экспертов (эвристический, тестовый, документальный).

Методы экспертной оценки показателей качества товаров - это методы определения действительных значений единичных и комплексных показателей качества.

Предназначены для определения значений показателей качества расчетным или эвристическим путем в случаях, когда применение измерительных методов невозможно или неэкономично из-за чрезмерных расходов на их применение или длительного времени испытаний. Например, при определении вкуса и запаха пищевых продуктов используются только органо- лептические методы. Измерительные методы не дают точной и надежной оценки, несмотря на повышенные затраты.

Для дифференциальной и комплексной оценки образцов, значительно отличающихся по качеству, рекомендуется определять значение единичного показателя Р следующим образом :

К. = Р. / Р. 5 ,

где Р. 5 - базовое (эталонное значение).

Другой, более точный метод основан на исследовании показателей с целью определения видов зависимости f, т. е. с целью разработки формул для расчетов оценок показателей:

К = f (Р/ Р 5).

Оценка единичных показателей качества начинается с определения допустимых интервалов их изменения (Р. макс : - Р™"). р. макс - наилучшее значение показателя, превышение которого нецелесообразно или невозможно. Принципы назначения максимально допустимого значения показателя (Р. макс) зависят от целей оценки качества, при этом необходимо, чтобы для всех показателей этот принцип был единым.

Повышение надежности экспертных оценок достигается путем членения сложных операций на простые, которые составляют многоступенчатую процедуру оценки допустимых значений показателя. Переход к каждой последующей ступени совершается после выработки согласованных решений на предыдущей.

Экспертная процедура определения допустимых значений показателей качества состоит из ряда операций:

выдачи экспертам анкетой пояснительных записок, в которых перечислены показатели качества и описаны принципы выбора допустимых значений показателей;

заполнения экспертами анкет и указания конкретных моделей продукции, значения которых они считают предельно допустимыми;

ознакомление каждого эксперта с оценками, назначенными другими экспертами, и их обсуждение;

проведение второго (иногда третьего и четвертого) тура анкетирования;

усреднение результатов оценки.

При значительном разбросе мнений проводится дополнительный тур голосования.

Для определения экспертами вида зависимостей (f) между значениям показателей Р. и их оценками К. нередко используется "метод главный точек". Необходимость его применения обусловлена тем, что разделение процедуры оценки на несколько этапов упрощает работу эксперта и позволяет ему дать оценки некоторым характерным точкам, исходя из которых можно построить модель искомой величины.

"Метод главных точек" в зависимости от их числа имеет несколько разновидностей.

"Метод трех главных точек" - метод, основанный на разделении значений показателей Р. на максимальное, минимальное, среднее значение и определении значений оценок К. в этих точках. Интервал шкалы между максимальной и минимальной точками задается заранее (шкалы О-ч-l или 0ч-10). В задачу эксперта входит также определение тенденции зависимости в интервале между главными точками и построение графика. После этого от графической зависимости можно перейти к аналитической формуле для расчета оценок показателя качества К. "Метод трех главных точек" позволяет разработать лишь приближенную модель оценки К.

"Метод семи главных точек" - метод оценки по семибалльной шкале оценки показателей, значения которых определены экспериментальным или расчетным путем, а также органолептическим методом.

Семибалльная шкала является равномерной, т. е. при переходе от одного класса качества к другому оценка меняется на один балл. Эти шкалы нашли широкое применение, особенно при органолептической оценке. Для получения более точных результатов следует перейти к определению вида зависимости между оценками и баллами.

Для облегчения работы эксперта в пояснительной записке к анкете приводят пять графиков. Эксперт выбирает кривую (или комбинацию кривых), которая наилучшим образом, по его мнению, отражает характер зависимости f. Затем каждому классу качества назначается оценка в соответствии с характером зависимости и значениями показателей качества. При этом целесообразно пользоваться числами в интервале 0-10, кратными 0,5, причем класс "наивысшее качество" получает оценку 10.

Таким образом, график, построенный экспертом, характеризует зависимость между абсолютными значениями показателей Р. и их оценками К, а для показателей, оцениваемых органолептическими методами, - между классами качества и их оценками.

В заключение проводятся обсуждение полученных результатов, их обработка и анализ. Для показателей, определяемых измерительным и расчетным методами, желательно дать аналитическое описание кривых, что позволяет рассчитать оценку для любых значений показателей.

Применение "метода главных точек" дает возможность осуществлять группировку и классификацию показателей по видам зависимости.

Определение комплексных показателей качества осуществляется двумя видами методов:

методами комплексной оценки качества образцов товаров;

методами построения моделей комплексных показателей качества.

Методы комплексной оценки качества имеют две разновидности - экспресс-метод и методы движения по уровням без подготовки и с подготовкой.

Экспресс-методы комплексной оценки качества образцов товаров основаны на определении комплексного показателя качества путем анализа значений отдельных единичных показателей и внешнего вида без предварительной их оценки и с учетом коэффициентов весомости.

При использовании этих методов необходимо учесть, что предельным количеством оцениваемых показателей даже для иысококвалифицированного эксперта является 7-9 показателей, расположенных на одном уровне иерархии и составляющих достаточно однородную группу. Кроме того, эксперты должны учитывать важность отдельных показателей с помощью коэффициентов весомости, взаимосвязь между ними, а также рассматривать качество товара как систему.

Метод движения по уровням без подготовки представляет собой комплекс операций, осуществляемых последовательно, с постепенным повышением уровня. При этом анализ начинается от нижнего уровня дерева показателей. С учетом значения показателей нижнего уровня эксперт дает оценку показателям вышележащего уровня. Эти операции повторяются с повышением уровня до тех пор, пока не будет достигнут верхний уровень - комплексная (обобщенная) оценка качества.

Метод движения по уровням с подготовкой основан на предварительном определении экспертами коэффициентов весомости показателей качества и их оценок. При назначении комплексных оценок эксперту известны средние значения коэффициентов весомости и оценки единичных показателей. Процедура определения комплексных показателей аналогична процедуре по методу движения по уровням без подготовки.

Формализация процесса экспертной оценки заключается в нахождении зависимости между значениями показателей качества Р. (или их оценками К.) и показателем качества нижележащего уровня, т. е. в определении вида решающей функции, которой пользуются эксперты при назначении комплексных показателей. При этом решающая функция, как и любая модель, упрощает объект исследования, так как учитываются не все показатели и связи между ними.

Исходными данными для определения вида функции могут служить результаты оценки качества различных образцов экспресс-методами или методами движения по уровням. Тогда оценки, назначенные экспертами, сводятся в общую матрицу, каждая строка которой представляет собой набор оценок единичных показателей образца и комплексных экспертных оценок. На основании этого могут быть разработаны машинные алгоритмы и составлены программы для нахождения решающих функций с помощью ЭВМ.

Лекция 13. ВИДЫ ЭКСПЕРТИЗ