Процессы, происходящие в СМО, являются случайными. Последовательность конкретных состояний процесса будем называть реализацией процесса. Будем рассматривать только системы, которые имеют конечное число возможных состояний. Их будем называть системами с дискретными состояниями, а процессы, протекающие в них , — дискретными случайными процессами.

Дискретный случайный процесс удобно изображать с помощью графа состояний. Будем изображать каждое состояние (вершину графа состояний) окружностью, а возможные переходы из состояния в состояние – стрелками, соединяющие эти окружности. В качестве примера рассмотрим телефон-автомат, который в некоторые промежутки времени простаивает (состояние Х₀), а в некоторые работает (состояние Х₁). На рис. 1.3 показан граф возможных состояний для этого примера.

Марковским процессом называется такой случайный процесс, который обладает следующим свойством: для каждого момента времени t₀ вероятность любого состояния в будущем (t > t₀) зависит только от его состояния в настоящем (t = t₀) и не зависит от того, когда и каким образом система пришла в это состояние. Другими словами, в Марковском случайном процессе будущее его развитие зависит только от настоящего состояния и не зависит от ?предыстории? процесса.

Марковские случайные процессы делятся на два типа – процессы с дискретным и непрерывным временем.

Марковским случайным процессом с дискретным временем называется процесс, у которого переходы из одного состояния в другое возможны в строго определенные заранее моменты времени. Такие процессы реже встречаются в СМО, поэтому мы их рассматривать не будем.

Марковским случайным процессом с непрерывным временем называется процесс, у которого переходы из одного состояния в другое возможен в любой момент времени. На практике такие процессы встречаются довольно часто. Например, выход из строя любого элемента аппаратуры может произойти в любой момент времени; окончание ремонта какого-либо аппарата также может произойти в заранее не зафиксированный момент времени и т.д.