Вероятностно статистические математические модели. Математическая статистика

Статистическое наблюдение.

Сущность статистического наблюдения.

Начальным этапом всякого статистического исследования служит планомерный, научно организованный сбор данных о явлениях и процессах общественной жизни, называемый статистическим наблюдением. Значение этого этапа исследования определяется тем, что использование лишь вполне объективной и достаточно полной, полученной в результате статистического наблюдения, на последующих этапах в состоянии обеспечить научно обоснованные выводы о характере и закономерностях развития изучаемого объекта. Статистическое наблюдение осуществляется путем оценки и регистрации признаков единиц изучаемой совокупности в соответствующих учетных документах. Полученные таким образом данные представляют собой факты, так или иначе характеризующие явления общественной жизни. Использование аргументации, основанной на фактах, не противоречит применению теоретического анализа, поскольку всякая теория в конечном счете основывается на фактическом материале. Доказательная способность фактов еще больше возрастает в результате статистической обработки, обеспечивающей их систематизацию, представление в сжатом виде. Статистическое наблюдение следует отличать от других форм наблюдений, осуществляемых в повседневной жизни, основанных на чувственном восприятии. Статистическим можно назвать лишь такое наблюдение, которое обеспечивает регистрацию устанавливаемых фактов в учетных документах для последующего их обобщения. Конкретными примерами статистического наблюдения служит систематическое собирание сведений, например на машиностроительных предприятиях о количестве произведенных машин и узлов, издержках производства, прибыли и т. д. Статистическое наблюдение должно удовлетворять довольно жестким требованиям: 1. Наблюдаемые явления должны иметь определенное народнохозяйственное значение, научную либо практическую ценность, выражать определенные социально-экономические типы явлений. 2. Статистическое наблюдение должно обеспечить сбор массовых данных, в которых отражается вся совокупность фактов, относящихся к рассматриваемому вопросу, поскольку общественные явления находятся в постоянном изменении, развитии, имеют различные качественные состояния.

Неполные данные, недостаточно разносторонне характеризующие процесс, приводят к тому, что из их анализа делаются ошибочные выводы. 3. Многообразие причин и факторов, определяющих развитие социальных и экономических явлений, предопределяет ориентацию статистического наблюдения наряду со сбором данных, непосредственно характеризующих изучаемый объект, на учет фактов и событий, под влиянием которых осуществляется изменение его состояний. 4. Для обеспечения достоверности статистических данных на стадии статистического наблюдения необходима тщательная проверка качества собираемых фактов. Строгая достоверность его данных- одна их важнейших характеристик статистического наблюдения. Дефекты статистической информации, выражающиеся в ее недостоверности, не могут быть устранены в процессе дальнейшей обработки, поэтому их появление затрудняет принятие научно обоснованных решений и сбалансированность экономики. 5. Статистическое наблюдение должно проводиться на научной основе по заранее разработанным системе, плану и правилам (программе), обеспечивающим строго научное решение всех программно-методологических и организационных вопросов.

Программно-методологическое обеспечение статистического наблюдения.

Подготовка к статистическому наблюдению, обеспечивающая успех дела, предполагает необходимость своевременного решения ряда методологических вопросов, связанных с определением задач, цели, объекта, единицы наблюдения, разработкой программы и инструментария, определением способа сбора статистических данных. Задачи статистического наблюдения непосредственно вытекают из задач статистического исследования и состоят, в частности, в получении массовых данных непосредственно о состоянии изучаемого объекта, в учете состояния явлений, оказывающих влияние на объект, изучении данных о процессе развития явлений. Цели наблюдения определяются, прежде всего, нуждами информационного обеспечения для экономического и социального развития общества. Поставленные перед государственной статистикой цели уточняются и конкретизируются ее руководящими органами, в результате чего определяются направления и масштаб работы. В зависимости от цели решается вопрос об объекте статистического наблюдения, т.е. что именно следует наблюдать. Под объектом понимается совокупность вещественных предметов, предприятий, трудовых коллективов, лиц и т.д., посредством которых осуществляются явления и процессы, подлежащие статистическому исследованию. Объектами наблюдения в зависимости от целей могут выступать, в частности, массы единиц производственного оборудования, продукции, товарно материальных ценностей, населенных пунктов, районов, предприятий, организаций и учреждений различных отраслей народного хозяйства, население и отдельные его категории и т.д. Установление объекта статистического наблюдения связано с определением его границ на основе соответствующего критерия, выраженного некоторым характерным ограничительным признаком, называемым цензом. Выбор ценза оказывает существенное влияние на формирование однородных совокупностей, обеспечивает невозможность смешения различных объектов либо недоучета некоторой части объекта. Сущность объекта статистического наблюдения уясняется полнее при рассмотрении единиц, из которых он состоит: Единицами наблюдения служат первичные элементы объекта статистического наблюдения, являющиеся носителями регистрируемых признаков.

От единицы наблюдения следует отличать отчетную единицу. Отчетной единицей служит такая единица статистического наблюдения, от которой в установленном порядке получают информацию, подлежащую регистрации. В ряде случаев оба понятия совпадают, но нередко они имеют и вполне самостоятельное значение. Учесть все множество признаков, характеризующих объект наблюдения, оказывается невозможным и нецелесообразным, поэтому при разработке плана статистического наблюдения следует тщательно и квалифицированно решать вопрос о составе признаков, подлежащих регистрации в соответствии с поставленной целью. Перечень признаков, формулируемых в виде вопросов, обращаемых к единицам совокупности, на которые должно дать ответ статистическое исследование, представляет собой программу статистического наблюдения.

Чтобы получить исчерпывающую характеристику изучаемого явления, в составе программы должен быть учтен весь круг его существенных признаков. Однако проблематичность практического осуществления этого принципа обусловливает необходимость включения в программу лишь наиболее существенных признаков, выражающих социально-экономические типы явления, его важнейшие черты, свойства и взаимосвязи. Объем программы регламентируется величиной ресурсов, имеющихся в распоряжении статистических органов, сроками получения результатов, требованиями к степени детализации разработок и т.д. Содержание программы определяется характером и свойствами изучаемого объекта, целями и задачами исследования. К числу общих требований к составлению программы относится недопустимость включения в ее состав вопросов, на которые затруднительно получить точные, вполне достоверные ответы, дающие объективную картину той или иной ситуации. При рассмотрении некоторых наиболее важных признаков в состав программы принято включать контрольные вопросы, служащие для согласованности получаемых сведений. Чтобы усилить взаимопроверку вопросов и аналитичность программы наблюдения, взаимосвязанные вопросы располагаются в определенной последовательности, иногда в блоках взаимосвязанных признаков.

Вопросы программы статистического наблюдения должны быть сформулированы четко, ясно, лаконично, не допуская возможности различных их истолкований. В программе нередко приводится перечень возможных вариантов ответов, посредством которых уточняется смысловое содержание вопросов. Методологическое обеспечение статистического наблюдения предполагает, что одновременно с программой наблюдения составляется и программа ее разработки. Задачи исследования формулируются в перечне обобщающих статистических показателей. Эти показатели должны быть получены в результате обработки собранного материала, признаков, с которыми корреспондируется каждый показатель, и макетов статистических таблиц, где представлены результаты обработки первичной информации. Программа разработки, выявляя недостающую информацию, позволяет уточнить программу статистического наблюдения. Проведение статистического наблюдения предполагает необходимость подготовки соответствующего инструментария: формуляров и инструкции по их заполнению. Статистический формуляр - это первичный документ, в котором фиксируются ответы на вопросы программы по каждой из единиц совокупности. Формуляр, таким образом, - это носитель первичной информации. Для всех формуляров характерны некоторые обязательные элементы: содержательная часть, включающая перечень вопросов программы, свободная графа либо несколько граф для записи ответов и шифров (кодов) ответов, титульная и адресная печати. Статистические формуляры в целях обеспечения единства трактовки их содержательной части обычно сопровождаются инструкцией, т.е. письменными указаниями и разъяснениями к заполнению бланков статистического наблюдения. Инструкция разъясняет цель статистического наблюдения, характеризует его объект и единицу, время и продолжительность наблюдения, порядок оформления документации, сроки представления результатов. Однако главное назначение инструкции состоит в разъяснении содержания вопросов программы, как следует давать на них ответы и заполнять формуляр.

Виды и способы статистического наблюдения.

Успех дела сбора качественных и полных исходных данных с учетом требования экономного расходования материальных, трудовых и финансовых ресурсов во многом определяется решением вопроса о выборе вида, способа и организационной формы статистического наблюдения.

Виды статистического наблюдения.

Необходимость выбора того или иного варианта сбора статистических данных, в наибольшей мере соответствующего условиям решаемой задачи, определяется наличием нескольких видов наблюдения, различающихся прежде всего по признаку характера учета фактов во времени. Систематическое наблюдение, осуществляемое непрерывно и обязательно по мере возникновения признаков явления, называется текущим. Текущее наблюдение проводится на основе первичных документов, содержащих информацию, необходимую для достаточно полной характеристики изучаемого явления. Статистическое наблюдение, проводимое через некоторые равные промежутки времени, называется периодическим. Примером может служить перепись населения. Наблюдение, проводимое время от времени, без соблюдения строгой периодичности либо в разовом порядке, называется единовременным. Виды статистического наблюдения дифференцируются с учетом различия информации по признаку полноты охвата совокупности. В связи с этим различают сплошное и не сплошное наблюдения. Сплошным называют наблюдение, учитывающее все без исключения единицы изучаемой совокупности. Не сплошное наблюдение заведомо ориентируется на учет некоторой, как правило, достаточно массовой части единиц наблюдения, позволяющей тем не менее получить устойчивые обобщающие характеристики все статистической совокупности. В статистической практике применяются различные виды не сплошного наблюдения: выборочное, способ основного массива, анкетное и монографическое. Качество не сплошного наблюдения уступает результатам сплошного, однако в ряде случаев статистическое наблюдение вообще оказывается возможным только как не сплошное. Для получения представительной характеристики всей статистической совокупности по некоторой части ее единиц применяют выборочное наблюдение, основанное на научных принципах формирования выборочной совокупности. Случайный характер отбора единиц совокупности гарантирует беспристрастность результатов выборки, предупреждает их тенденциозность. По способу основного массива производится отбор наиболее крупных, наиболее существенных единиц совокупности, преобладающих в общей их массе по изучаемому признаку. Специфическим видом статистического наблюдения служит монографическое описание, представляющее собой детальное обследование отдельного, но весьма типичного объекта, обусловливающего интерес и с точки зрения изучения всей совокупности.

Способы статистического наблюдения.

Дифференциация разновидностей статистического наблюдения возможна также в зависимости от источников и способов получения первичной информации. В связи с этим различают непосредственное наблюдение, опрос и документальное наблюдение. Непосредственным называют наблюдение, осуществляемое путем подсчета, измерения значений признаков, снятия показаний приборов специальными лицами, осуществляющими наблюдениями, иначе говоря- регистраторами. Достаточно часто ввиду невозможности применения иных способов статистическое наблюдение осуществляется путем опроса по некоторому перечню вопросов. Ответы фиксируются в специальном формуляре. В зависимости от способов получения ответов различают экспедиционный и корреспондентский способы, а также способ саморегистрации. Экспедиционный способ опроса осуществляется в устной форме специальным лицом (счетчиком, экспедитором), заполняющим одновременно формуляр или бланк обследования.

Корреспондентский способ опроса организуется путем рассылки статистическими органами бланков обследования некоторому соответствующим образом подготовленному кругу лиц, называемых корреспондентами. Последние обязаны согласно договоренности заполнить бланк и вернуть его в статистическую организацию. Проверка правильности заполнения формуляров имеет место при опросе способом саморегистрации. Опросные листы заполняют, как и при корреспондентском способе, сами опрашиваемые, но их раздачу и сбор, а также инструктаж и контроль правильности заполнения осуществляют счетчики.

Основные организационные формы статистического наблюдения.

Все разнообразие видов и способов наблюдения осуществляется на практике посредством двух основных организационных форм: отчетности и специально организованного наблюдения. Статистическая отчетность - основная форма статистического наблюдения в социальном обществе, охватывающая все предприятия, организации и учреждения производственной и непроизводственной сфер. Отчетность- это систематическое представление в установленные сроки учетно-статистической документации в виде отчетов, всесторонне характеризующих итоги работы предприятий и учреждений в течение отчетных периодов. Отчетность непосредственно связана с первичными и бухгалтерскими учетными документами, базируется на них и представляет собой их систематизацию, т.е. результат обработки и обобщения. Отчетность осуществляется по строго установленной форме, утверждаемой Госкомстатом России. Перечень всех форм с указанием их реквизитов (принадлежностей) называется табелем отчетности. Каждая из форм отчетности должна содержать следующие сведения: наименование; номер и дату утверждения; наименование предприятия, его адрес и подчиненность; адреса, в которые представляется отчетность; периодичность, дату представления, способ передачи; содержательную часть в виде таблицы; должностной состав лиц, ответственных за разработку и достоверность отчетных данных, т.е. обязанных подписать отчет. Многообразие условий производственного процесса в различных отраслях материального производства, специфичность воспроизводственного процесса в локальных условиях, учет значимости тех или иных показателей обусловливают различие видов отчетности. Различают, прежде всего, типовую и специализированную отчетность. Типовая отчетность имеет одинаковую форму и содержание для всех предприятий либо учреждений отрасли народного хозяйства. Специализированная отчетность выражает специфические для отдельных предприятий отрасли моменты. По принципу периодичности отчетность подразделяется на годовую и текущую: квартальную, месячную, двухнедельную, недельную. В зависимости от способа передачи информации различают почтовую и телеграфную отчетность. Статистические переписи служат второй по значению организационной формой статистического наблюдения. Перепись представляет собой специально организованное статистическое наблюдение, направленное на учет численности и состава определенных объектов (явлений), а также установление качественных характеристик их совокупностей на некоторый момент времени. Переписи представляют статистическую информацию, не предусмотренную отчетностью, а в ряде случаев существенно уточняют данные текущего учета.

Для обеспечения высокого качества результатов статистических переписей осуществляется комплекс подготовительных работ. Содержание организационных мероприятий по подготовке переписей, осуществляемых согласно требованиям и правилам статистической науки, излагается в специально разрабатываемом документе, называемом организационном планом статистического наблюдения. В организационном плане должны найти решение вопросы о субъекте (исполнителе) статистического наблюдения, о месте, времени, сроках и порядке проведения, об организации переписных участков, о подборе и подготовке счетных работников, обеспечении их необходимой учетной документацией, о проведении ряда других подготовительных работ и т.д. Субъектом наблюдения выступает организация (учреждение) либо его подразделение, ответственное за наблюдение, организующее его проведение, а также непосредственно выполняющие функции по сбору и обработке статистических данных. Вопрос о месте наблюдения (месте регистрации фактов) возникает преимущественно при проведении статистико-социологических исследований и решается в зависимости от цели исследования.

Время наблюдения представляет собой период времени, в течение которого должна быть начата и завершена работа по регистрации и проверке полученных данных. Время наблюдения выбирается на основе критерия минимальной пространственной мобильности изучаемого объекта. От времени наблюдения следует отличать критический момент, к которому приурочены собранные данные.

Понятие статистического наблюдения - довольно интересная тема для рассмотрения. Статистические наблюдения используются практически везде, где только можно обусловить их применение. Вместе с тем, несмотря на обширную область применения, статистические наблюдения являются довольно-таки сложным предметом и ошибки нередки. Однако в целом статистические наблюдения как предмет для рассмотрения представляют собой большой интерес.

Этот раздел предполагает, что у читателя есть некоторые познания в статистической методологии, в особенности в регрессионном анализе и дисперсионном анализе. Позже сделаем некоторые более честолюбивые предположения, а именно, что что-то известно об общей линейной модели и нелинейной регрессии.

Требования для подгонки статистической модели достаточно хорошо определены для разработки универсального, применимого для широкого спектра задач инструментария.

R обеспечивает набор взаимосвязанных инструментов, который делает очень простой подгонку статистических моделей. Как упоминалось во введении, по умолчанию отображается минимальный набор результатов, и нужно запрашивать подробности при обращении к функциям вывода.

1. Определение статистических моделей; формулы

Шаблон для статистической модели - линейная регрессионная модель с независимыми, гомоскедастичными ошибками:

В матричном виде можно записать:

y = Xβ + e

где y - вектор отклика,X матрица модели или матрица проекта и имеет столбцыx 0 ; x 1 …. ; x p определяющих переменных. Очень частоx 0 будет столбцом, дающий параметр смещения.

Примеры

Прежде чем дать формальное определение, несколько примеров помогут составить общее представление. Предположим, что y, x, x0, x1, x2 ... числовые переменные,X матрица иA, B, C ...

являются факторами. Ниже следующие формулы задают статистические модели, справа даны описания моделей.

y ~ x y ~ 1 + x

Обе подразумевают одинаковую простую линейную регрессионную модель y на

x . У первой есть неявный параметр смещения, а у второй - явный.

y ~ 0 + x y ~-1 + x y ~ x - 1

Простая линейная регрессия y наx через источник (то есть, без параметра смещения).log (y) ~ x1 + x2

Множественная регрессия преобразованной переменной log(y) наx1 иx2 (с неявным параметром смещения).

y ~ poly (x, 2) y ~ 1 + x + I(x^2) Параболическая регрессияy наx степени 2. Первая форма использует ортогональные полиномы, вторая использует явную степень, как основание.y ~ X + poly (x, 2)

Множественная регрессия y с модельной матрицей, состоящей из матрицыX , включая параметр полиномаx степени 2.y ~ A

Модель дисперсионного анализа одиночной классификации y с классами, определенными A.y ~ A+ x

Модель ковариационного анализа одиночной классификации y с классами, определеннымиA , и с ковариантомx .

y ~ A*B y ~ + B + A:B y ~ B %in % A y ~ A/B

Модель двух факторного дисперсионного анализа y поA иB . Первые две специфицируют одинаковую кросс классификацию, а вторые две специфицируют одинаковую вложенную классификацию.

В абстрактных понятиях все четыре специфицируют одинаковое подмножество моделей. y ~ (A+ B + C) ^2 y ~ A*B*C - A:B:C

Трех факторный эксперимент, но с моделью, содержащей основные эффекты и факторы попарного взаимодействия. Обе формулы специфицируют одинаковую модель. y ~ A * x y ~ A/x y ~ A / (1 + x) - 1

Изолированные модели простой линейной регрессии y наx в пределах уровней заданных вA различными метками. В последнем виде производит четко столько вычислений различных отсекаемых отрезков и коэффициентов наклона, сколько имеется уровнейA.

y ~ A*B + Error(C)

Эксперимент с двумя факторами воздействия A и B, и стратифицированной ошибкой, определяемой факторомC . Например, разделить отображение эксперимента на участки (и, следовательно, части рисунка), определяемые факторомC .

Оператор ~ используется для определения формулы модели в R . Форма для простой линейной модели:response ~ op_1 term_1 op_2 term_2 op_3 term_3 ... где:

response - вектор или матрица (или оценка выражения к вектору или матрице), определяющая переменную (ые) отклика.

op_i - оператор, или “+” или “-“, подразумевая включение или исключение параметра в модели (первое является дополнительным).term_i также является либо:

векторным или матричным выражением, или 1, либо

фактор, либо

выражением формулы, состоящей из факторов, векторов или матриц, соединенных операторами формулы.

Во всех случаях каждый параметр определяет набор столбцов либо для добавления к матрице модели, либо для удаления из матрицы модели. 1 устанавливается для столбца смещения и по умолчанию включена в матрицу модели, если явно не удалена.

Операторы формулы подобны нотации Уилкинсона и Роджерса, используемой такими программами как Glim и Genstat. Одно неизбежное изменение то, что оператор "." становится ‘:’ так как точка является допустимым символом имени в R.

В итоге ниже получена нотация (основано на Chambers & Hastie, 1992, p.29):

Y ~ М Y смоделирован как М.

M_1 + M_2 Включают М_1 и М_2.

M_1 - M_2 Включают М_1 и исключают параметр М_2.

M_1: M_2 Тензорное произведение М_1 и М_2. Если оба параметра - факторы, то фактор "подклассов". M_1 %in % M_2

Подобно M_1:M_2, но с различным синтаксисом.

M_1 * M_2 M_1 + M_2 + M_1:M_2. M_1 / M_2 M_1 + M_2 %in % M_1.

M^n Все параметры вМ вместе со "взаимодействиями" до порядка nI(M) ИзолированноеМ. ВнутриМ все операторы имеют свое обычное арифметическое значение, и этот параметр появляется в матрице модели.

Заметим, что в круглых скобках, которые обычно включают аргументы функции, у всех операторов есть свое нормальное арифметическое значение. Функция I() является зеркальным отображением, используемым для придания определенности параметрам в формулах модели, используя арифметические операторы.

В частности заметим, что формулы модели описывают столбцы матрицы модели, определение подразумевающихся параметров. Дело обстоит не так в других контекстах, например в определении нелинейных моделей.

Статистические и теоретико-вероятностные методы составляют методологическую основу одноименного вида моделирования. На этом уровне формализации модели речь о вскрытии закона, обеспечивающего устранение неопределенности при принятии решения, пока еще не идет, но существует некоторый массив наблюдений за данной системой или ее аналогом, позволяющих сделать некие выводы относительно прошлого/текущего/будущего состояния системы, основываясь на гипотезе об инвариантности ее поведения.

Как всегда, сформулируем определение… Статистическая или теоретико-вероятностная модель (стохастическая модель) - это модель, в которой обеспечивается учет влияния случайных факторов в процессе функционирования системы, основанная на применении статистической или теоретико-вероятностной методологии по отношению к повторяющимся феноменам . Данная модель оперирует количественными критериями при оценке повторяющихся явлений и позволяет учитывать их нелинейность, динамику, случайные возмущения за счет выдвижения на основе анализа результатов наблюдений гипотез о характере распределения некоторых случайных величин, сказывающихся на поведении системы.

По существу, теоретико-вероятностные и статистические модели отличаются уровнем неопределенности знаний о моделируемой системе, существующей на момент синтеза модели. В случае, когда представления о системе носят, скорее, теоретический характер и основываются исключительно на гипотезах о характере системы и возмущающих воздействий, не подкрепленных результатами наблюдений, теоретико-вероятностная модель является единственно возможной. Когда же на этапе синтеза модели уже существуют данные, полученные опытным путем, появляется возможность подкрепления гипотез за счет их статистической обработки. Это становится очевидным, если рассмотреть соотношение между методами математической статистики и теории вероятностей. Математическая статистика - это наука, изучающая методы вскрытия закономерностей, свойственных большим совокупностям однородных объектов или событий, на основании их выборочного обследования (либо большим массивам данных, полученных в результате наблюдения за одним и тем же объектом на протяжении достаточно протяженного интервала времени). Теория же вероятностей изучает количественные закономерности, которым следуют случайные явления, если эти явления определяются событиями известной вероятности. Соответственно, математическая статистика является связующим звеном между теорией вероятностей и явлениями реального мира, поскольку позволяет сформулировать оценки вероятности тех или иных событий на основе анализа статистических данных.

Можно утверждать, что статистические модели представляют собой особый вид математических моделей, использующих в качестве исходных данных не только актуальные данные о текущем состоянии объекта, но и данные, характеризующие состояние либо других объектов данного класса, либо этого объекта, но в иной момент времени. Статистические модели применимы для изучения массовых явлений любой природы, включая и те, которые не относятся к категории вероятностно определенных (математическая статистика приспособлена и для решения детерминированных задач). При моделировании последних статистический процесс вводится в модель искусственно для получения статистических оценок численного решения (например, точности измерения параметров детерминированного процесса).

Методы математической статистики и теории вероятности могут вводиться, в том числе, и в логические и логико-лингвистические модели, как это было указано в предыдущем подразделе. Например, могут рассматриваться методы интеграции статистических оценок в модели семантических отношений для придания различных весов дугам, связывающим отдельные вершины. Статистические оценки могут быть внедрены и в системы представления тезаурусов для разрешения ситуаций полисемии без обращения к процедурам контекстного анализа. Иными словами, статистические методы могут составлять как основу модели, так и применяться для модификации моделей других типов.

Для обработки результатов наблюдений используются методы корреляционного, регрессионного, факторного, кластерного и иных видов анализа, оперирующих статистическими гипотезами. Особая роль здесь отводится методу статистических испытаний (методу Монте-Карло ). Это метод численного решения математических задач, основанный на многократном теоретико-вероятностном и статистическом моделировании случайных величин или процессов с целью построения статистических оценок для искомых величин. Сущность метода состоит в реализации многократного моделирования случайного явления с помощью некоторой процедуры, дающей случайный результат. Для этого с применением ЭВМ создается некоторое множество реализаций случайных процессов, моделирующих возмущающие воздействия на исследуемый объект или процесс, после чего производится моделирование этого процесса или объекта в условиях, определяемых полученными случайными воздействиями. Результаты такого моделирования обрабатывают с использованием методов математической статистики. При этом могут варьироваться тип и параметры распределения случайной величины.

Реализация случайного процесса методом Монте-Карло представляет собой последовательность розыгрышей единичных жребиев, перемежающихся обычными расчетами, в ходе которых определяется результат возмущающего воздействия на объект или процесс, на исход операции.

Поскольку адекватность модели распределения случайных воздействий в общем случае установить трудно, задачей моделирования с применением метода Монте-Карло является обеспечение робастности полученных решений (устойчивости к изменению параметров закона распределения случайных величин и начальных условий моделирования) . Если результат моделирования не является робастным (существенно зависит от параметров закона распределения и параметров модели), то это свидетельствует о наличии высокого риска при принятии решения в данной реализации моделируемой системы.

Важную роль в статистических моделях играют гипотезы о характере процессов смены состояний в моделируемой системе. Так, например, весьма интересный случай представляет собой гипотеза о «марковости » процессов (получившая название в честь русского ученого А.А. Маркова - начало XX века). Марковские процессы представляют собой случай процесса с детерминированными вероятностями, для которого ранняя предыстория смены состояний системы на некотором предшествующем интервале времени несущественна для установления вероятности наступления следующего события - основное значение придается ее текущему состоянию . Если существует уверенность в марковости процесса, это существенно меняет представления о системе (она может рассматриваться как «инерционная», в большой степени зависящая от текущего ее состояния и характера возмущающего воздействия). Принцип марковости был открыт при анализе текстов на естественных языках, где вероятность появления следующего символа может быть предсказана на основе статистического анализа текстовых массивов, на данном конкретном языке.

Статистическое моделирование тесно сопряжено с имитационным моделированием , ходе которого модель объекта нередко «погружается в вероятностную (статистическую) среду», в которой проигрываются различные ситуации и режимы функционирования модели/объекта. Однако имитационные модели могут реализовываться и в детерминированных средах.

Методы статистического моделирования широко распространены в сфере стратегического планирования и управления . Широкому распространению методов статистического моделирования в сфере оперативного управления препятствует высокая трудоемкость процесса моделирования. В основном это связано с необходимостью глубокой математической проработки моделей и высокими требованиями, предъявляемыми к математическим познаниям пользователей.

Допущения, воплощенные в статистическом моделировании, описывают набор вероятностных распределений, некоторые из которых, как предполагается, адекватно приближают распределение. Из определения отбирается конкретный набор данных. Распределения вероятностей, присущие статистическому моделированию, - это то, что отличает статистические модели от других, не статистических, математических моделей.

Связь с математикой

Этот научный метод коренится, прежде всего, в математике. Статистическое моделирование систем обычно задается математическими уравнениями, которые связывают одну или несколько случайных величин и, возможно, других неслучайных переменных. Таким образом, статистическая модель является «формальным представлением теории» (Герман Адер, цитируя Кеннета Боллена).

Все статистические проверки гипотез и все статистические оценки получены из статистических моделей. В более общем смысле, статистические модели являются частью основы статистического вывода.

Методы статистического моделирования

Неформально статистическая модель может рассматриваться как статистическое допущение (или набор статистических допущений) с определенным свойством: это допущение позволяет нам вычислять вероятность любого события. В качестве примера рассмотрим пару обычных шестигранных кубиков. Мы будем изучать два различных статистических предположения о кости.

Первое статистическое предположение составляет статистическую модель, потому что только с одним допущением мы можем вычислить вероятность любого события. Альтернативное статистическое допущение не составляет статистической модели, потому что только с одним допущением мы не можем рассчитать вероятность каждого события.

В приведенном выше примере с первым допущением вычислить вероятность события легко. Однако в некоторых других примерах расчет может быть сложным или даже непрактичным (например, это может потребовать миллионов лет вычислений). Для предположения, составляющего статистическую модель, такая трудность является приемлемой: выполнение вычисления не должно быть практически осуществимым, просто теоретически возможным.

Примеры моделей

Предположим, что у нас есть популяция школьников с равномерно распределенными по возрасту детьми. Рост ребенка будет стохастически связан с возрастом: например, когда мы знаем, что ребенку 7 лет, это влияет на вероятность того, что ребенок будет ростом 5 футов (примерно 152 см). Мы могли бы формализовать эту взаимосвязь в модели линейной регрессии, например: рост = b0 + b1agei + εi, где b0 - пересечение, b1 - параметр, на который умножается возраст при получении прогноза роста, εi - термин ошибки. Это подразумевает, что рост предсказывается возрастом с некоторой ошибкой.

Допустимая модель должна соответствовать всем точкам данных. Таким образом, прямая линия (heighti = b0 + b1agei) не может быть уравнением для модели данных - если только она точно не соответствует всем точкам данных, то есть все точки данных идеально лежат на линии. Член ошибки εi должен быть включен в уравнение, чтобы модель соответствовала всем точкам данных.

Чтобы сделать статистический вывод, нам сначала необходимо принять некоторые вероятностные распределения для εi. Например, мы можем предположить, что распределения εi являются Гауссовскими, с нулевым средним параметром. В этом случае модель будет иметь 3 параметра: b0, b1 и дисперсию распределения Гаусса.

Общее описание

Это особый класс математической модели. Что отличает статистическую модель от других математических моделей, так это то, что она недетерминирована. С ее помощью осуществляется моделирование статистических данных. Таким образом, в статистической модели, определенной с помощью математических уравнений, некоторые переменные не имеют конкретных значений, а вместо этого имеют распределения вероятностей; то есть некоторые переменные являются стохастическими. В приведенном выше примере ε является стохастической переменной; без этой переменной модель была бы детерминированной.

Статистические модели часто используются в статистическом анализе и моделировании, даже если моделируемый физический процесс является детерминированным. Например, подбрасывание монет в принципе является детерминированным процессом; все же это обычно моделируется как стохастический (через процесс Бернулли).

Параметрические модели

Являются наиболее часто используемыми статистическими моделями. Что касается полупараметрических и непараметрических моделей, сэр Дэвид Кокс сказал: «Как правило, они включают меньше предположений о структуре и форме распределения, но обычно содержат сильные предположения о независимости». Как и все прочие упомянутые модели, также часто используются в статистическом методе математического моделирования.

Многоуровневые модели

Многоуровневые модели (так же известные, как иерархические линейные модели, модели с вложенными данными, смешанные модели, случайные коэффициенты, модели со случайными эффектами, модели со случайными параметрами или модели с разделением на участки) являются статистическими моделями параметров, которые варьируются на более чем одном уровне. Примером может служить модель успеваемости учащихся, которая содержит показатели для отдельных учащихся, а также показатели для классных комнат, в которые сгруппированы студенты. Эти модели можно рассматривать как обобщения линейных моделей (в частности, линейной регрессии), хотя они также могут распространяться на нелинейные модели. Эти модели стали намного популярнее после того, как стали доступны достаточные вычислительные мощности и программное обеспечение.

Многоуровневые модели особенно подходят для исследовательских проектов, где данные для участников организованы на более чем одном уровне (то есть, вложенные данные). Единицами анализа обычно являются отдельные лица (на более низком уровне), которые вложены в контекстные / совокупные единицы (на более высоком уровне). В то время как самый низкий уровень данных в многоуровневых моделях, как правило, индивидуальный, повторные измерения отдельных лиц также могут быть рассмотрены. Таким образом, многоуровневые модели предоставляют альтернативный тип анализа для одномерного или многомерного анализа повторных измерений. Индивидуальные различия в кривых роста могут быть рассмотрены. Кроме того, многоуровневые модели могут использоваться в качестве альтернативы ANCOVA, где баллы по зависимой переменной корректируются для ковариат (например, индивидуальных различий) перед тестированием различий в лечении. Многоуровневые модели способны анализировать эти эксперименты без предположения об однородности наклонов регрессии, что требуется ANCOVA.

Многоуровневые модели можно использовать для данных со многими уровнями, хотя двухуровневые модели являются наиболее распространенными, и остальная часть этой статьи посвящена только этим. Зависимая переменная должна быть исследована на самом низком уровне анализа.

Выбор модели

Выбор модели - это задача выбора из набора моделей-кандидатов с учетом данных, осуществляемая в рамках статистического моделирования. В простейших случаях рассматривается уже существующий набор данных. Тем не менее задача может также включать планирование экспериментов таким образом, чтобы собранные данные хорошо подходили для задачи выбора модели. Учитывая модели-кандидаты с аналогичной предсказательной или объяснительной силой, простейшая модель, скорее всего, будет лучшим выбором (бритва Оккама).

Представители компании Konishi & Kitagawa заявляют: «Большинство проблем статистического вывода можно считать проблемами, связанными со статистическим моделированием». Аналогичным образом, Кокс сказал: «Как осуществляется перевод предметной проблемы в статистическую модель, часто является наиболее важной частью анализа».

Выбор модели может также относиться к проблеме выбора нескольких репрезентативных моделей из большого набора вычислительных моделей для целей принятия решений или оптимизации в условиях неопределенности.

Графические модели

Графическая модель, или вероятностная графическая модель, (PGM) или структурированная вероятностная модель, - это вероятностная модель, для которой график выражает структуру условной зависимости между случайными величинами. Они обычно используются в теории вероятностей, статистике (особенно в байесовской статистике), и в машинном обучении.

Эконометрические модели

Эконометрические модели - это статистические модели, используемые в эконометрике. Эконометрическая модель определяет статистические отношения, которые, как полагают, существуют между различными экономическими величинами, относящимися к конкретному экономическому явлению. Эконометрическая модель может быть получена из детерминированной экономической модели, учитывающей неопределенность, или из экономической модели, которая сама является стохастической. Тем не менее также можно использовать эконометрические модели, которые не привязаны к какой-либо конкретной экономической теории.

4.1.1. Статистическая модель. При статистическом (стохастическом) моделировании основными объектами моделирования являются случайные события, случайные величины и случайные функции.

При проведении экспериментов исследователь фиксирует появление или не появления интересующих событий, а также осуществляет измерения значений параметров, которые носят случайный характер и по своей сути являются значениями реализации некоторой случайной величины.

Статистическое моделирование дает возможность не проводя реальных экспериментов над исследуемым объектом (что в большинстве случаев требует больших материальных и финансовых затрат) получать соответствующую информацию о появлении или не появлении тех или иных событий происходящих в реальном объекте. о выборочных значениях случайных величин на основе имеющихся вероятностных характеристик моделируемых событий и случайных величин. Данный вид моделирования предполагает проведение предварительного сбора информации о моделируемых показателях и дальнейшей статистической обработки полученных результатов с целью получения обоснованных статистических оценок, требуемых для моделирования вероятностных характеристик.

Стохастические модели применяются в основном в двух случаях:

1) объект моделирования плохо изучен – не имеется достаточно хорошо разработанных количественных закономерностей, описывающих рассматриваемые процессы и явления, а так же нет возможности найти приемлемое аналитическое решение данной проблемы;

2) моделируемый объект изучен достаточно хорошо в детерминированном плане, но без учета случайных факторов, оказывающих влияние на изучаемые процессы и явления.

В первом случае на основе словесного описания исследуемого объекта производится выбор количественных показателей с расчетом их физической размерности состоящих из двух групп. Одна из групп рассматривается в качестве входных величин модели, а другая – выходных величин. Далее, применяя научные теоретические результаты полученные другими исследователями в данной области и возможно применяя ряд необходимых допущений, а так же возможно уже имеемые экспериментальные данные о входных и выходных величинах (например, об их законах распределения) устанавливают детерминированные или стохастические зависимости между входными выходными величинами модели. Совокупность полученных соотношений между входными и выходными величинами (обычно записываются в виде уравнений) называют статистической моделью.

В ходе реализации статистической модели на основе выбранных законов распределения случайных величин и выбранными вероятностями моделируемых событий методами математической статистики определяются выборочные до экспериментальные значения случайных величин и квазиэмпирические последовательности появления или не появления моделируемых событий. Далее, по уравнениям модели определяют соответствующие выборочные значения ее выходных величин. А многократная реализация построенной модели позволяет исследователю построить модельную выборку ее выходных величин, которая вновь подвергается статистическому анализу (корреляционному, регрессивному, дисперсионному, спектральному) с целью получения оценок характеристик выходных параметров модели или проверки выдвигаемых гипотез. На основе полученных результатов делаются заключения по объекту исследования, а также обоснования по практическому применению построенной модели.

Методы статистического моделирования широко применяются при решении задач массового обслуживания, теории оптимизации, теории управления, теоретической физике и т.д.

Теоретической основой метода статистического моделирования на компьютере являются предельные теоремы теории вероятностей.

4.1.2. Неравенство Чебышева . Для неотрицательной функции случайной величины и выполняется неравенство

.

4.1.3. Теорема Бернулли . Если проводятся независимых испытаний, в каждом из которых некоторое событие осуществляется с вероятностью , то относительная чистота появления события ( число благоприятных исходов испытания) при сходится по вероятности к , т.е. при

4.1.4. Теорема Пуассона . Если проводятся независимых испытаний и вероятность осуществления события в том испытании равна , то относительная чистота появления события ( число благоприятных исходов испытания) при сходится по вероятности к среднему из вероятностей , т.е. при

4.1.5. Теорема Чебышева . Если в независимых испытаниях наблюдаются значения случайной величины , то при среднее арифметическое значений случайной величины сходится по вероятности к ее математическому ожиданию , т.е. при

4.1.6. Обобщенная теорема Чебышева . Если независимые случайные величины с математическими ожиданиями и дисперсиями ограниченными сверху одним и тем же числом, то при среднее арифметическое значений случайной величины сходится по вероятности к среднему арифметическому их математических ожиданий

4.1.7. Теорема Маркова .. Теорема Чебышева будет справедлива и для зависимых случайных величин , если

4.1.8. Центральная предельная теорема . Если независимые одинаково распределенные случайные величины с математическое ожидание и дисперсию , то при закон распределения суммы неограниченно приближается к нормальному закону распределения

где функция Лапласа

4.1.9. Теорема Лапласа . Если в каждом из независимых испытаний событие появляется с вероятностью , то