بررسی زنجیره ماركوف

تحقیق زنجیره ماركوف در 25 صفحه
فرایند استوكتیك : یك مجموعه از متغیرهای تصادفی است {x(t), teT} كه در آن ، eT متغیر تصادفی است t را زمان یا پارامتر فرآیند و xt را وضعیت آن گویند. اگر t كه متغیر زمان است را به یك متغیر گسسته بنام n تبدیل نمائیم در این صورت xt به xn تبدیل خواهد گشت . كه xn متغیر وضعیت در محله nام خواهد شد.

مثال : فرض كنید سه نفر با یك توپ بازی می‌كنند كه شخص A توپ را به شخص B و شخص B توپ را به شخص C می‌فرستد شخص c در 50 % موارد برای شخص A و یا B توپ می‌فرستد، كه در این صورت n تعداد دفعات پرتاب توپ و xn شخصی كه توپ نزد اوست میباشد.

زنجیره ماركوف :
یك فرایند استوكستیك است كه در آن وضعیت آینده فقط بستگی به زمان حال دارد و هیچ ارتباطی به وضعیت گذشته ندارد.
بردار احتمال : u را بردار احتمال گویند كه در آن مقادیر ui غیرمنفی بوده و Sui=1 است.

اگر (3 و 6 و 1 و 5 و 0 و 2) = u باشد با ضرب كردن ( × ) كه 17/1= ʎ است. به بردار احتمال تبدیل میشود.ماتریس استوكتسیك : یك ماتریس n بعدی است كه از بردارهای احتمال تشكیل شده است.
فقط سطر

قضیه : ضرب ماتریس استوكتسیك