همانطور که مشاهده می گردد تابعی خطی از (پارامتر ریج) نمی باشد و تابع پیچیده ای از آن است و مطالعات فراوانی برای انتخاب مقدار انجام شده که در فصل دوم این پایان نامه به مطالعه و بررسی روش های مختلف انتخاب می پردازیم.

۱-۳-۱-۲ –ویژگی­های برآورد گر
قضیه ۱ – ۱: برآوردگر دارای ویژگیهای زیر است:
الف) برآوردگر ریج معمولی یک تبدیل خطی از برآوردگر حداقل مربعات است.
ب) برآوردگر ریج معمولی یک برآوردگر اریب می باشد.
ج) ماتریس کواریانس برابر است با:
د) میانگین توان دوم خطا برای برآوردگر ریج برابر است با:
اثبات:
الف:
=y = =
که در آن است.
ب:
ج:
د:
+
طریقه بدست آوردن و در پیوست ۱ آمده است.
بنابراین:
(۱ – ۸)
که در آن مقادیر ویژه ماتریس است. ■
در معادله (۱ – ۸)، اولین جمله طرف راست مربع اریبی، و جمله دوم مجموع واریانس برآوردگرهای می باشد.
۱-۳-۱-۳ – جواب برآوردگر ریج معمولی در یک طرح متعامد
فرض کنید یک ماتریس طرح با درایه های باشد و همچنین فرض کنید ، در این صورت یک ماتریس طرح متعامد است.
قضیه ۱ – ۲: جواب برآوردگر ریج معمولی در یک طرح متعامد به صورت زیر است:
اثبات:
با توجه به اینکه جواب حداقل مربعات در یک طرح متعامد به صورت زیر است:
=
پس داریم:
و در نتیجه
یکی دیگر از برآوردگرهای اریب جهت رفع مشکل هم خطی چندگانه، برآوردگر لیو می باشد که در ادامه آن را معرفی می کنیم.
۱-۳-۲ – برآوردگر لیو^[۱۵]
برآوردگر لیو از ترکیب برآوردگرهای ریج معمولی و برآوردگر استاین بدست می آید، لذا در ابتدا
برآوردگر استاین^[۱۶] را معرفی می کنیم . برآوردگر استاین از برآوردگر های انقباضی است و در سال ۱۹۶۱ توسط جیمز و استاین^[۱۷] به صورت ارائه شد.
همانطور که ذکر شد، برآوردگر لیو از ترکیب برآوردگر ریج معمولی و برآوردگر استاین بدست می آید. هر چند برآوردگر ریج معمولی تابعی پیچیده از پارامتر است، اما در عمل کاربرد فراوانی دارد. برآوردگر استاین یک تابعی خطی از است. از طرفی، برآوردگر استاین همه مولفه­های را به یک اندازه منقبض می­ کند.
در واقع لیو در سال ۱۹۹۳ مزیت­ های هر دو برآوردگر را با هم ترکیب کرد و برآوردگر لیو را معرفی کرد.
برآوردگر لیو در سال ۱۹۹۳ توسط لیو به صورت زیر ارائه شد(روش بدست آوردن این برآوردگر در پیوست ۱ آمده است):
لیو در سال ۱۹۹۳ ثابت کرد که وجود دارد که که این موضوع در قضیه (۳ – ۱) این پایان نامه اثبات شده است.
واضح است که امید ریاضی به صورت زیر بدست می آید:
همانطور که مشاهده می­کنید برآوردگر لیو برآوردگری اریب و تابعی خطی از d (برخلاف برآوردگر ریج معمولی که تابعی پیچیده از است) می باشد.
بررسی بیشتر این برآوردگر، در فصل سوم پایان نامه آورده شده است.
در فصل­های بعدی پایان نامه به برخی از تعاریف نیازمندیم که در دو بخش پایانی این فصل، این تعاریف را آورده ایم.
۱-۴- آماره ^[۱۸]
آماره یا خطای پیش بینی مجموع مربعات توسط الن^[۱۹] در سال ۱۹۷۱ معرفی شد، که یک مقیاس سازی مفید باقی مانده ها را مهیا می کند. در عین حال این آماره، به عنوان یک معیار برای اعتبار و توانایی پیش بینی یک مدل رگرسیونی می باشد، از این آماره در فصل سوم برای انتخاب برآوردگر بهینه استفاده می کنیم.
برای محاسبه یک مشاهده را انتخاب می کنیم. برای مثال امین مشاهده را انتخاب می کنیم. مدل رگرسیونی را نسبت به مشاهده مانده برازش می دهیم و این معادله را برای پیش بینی مشاهده نگه داشته بکار می بریم این مقدار پیش بینی شده را با نمادگذاری می کنیم. در نتیجه خطای پیش بینی برای نقطه ام می شود. این خطای پیش بینی اغلب امین باقی مانده نامیده می شود. با تکرار این روش برای هر یک از مشاهدات ، مجموعه ای از باقیمانده ، تولید می شود.
آماره را الن به صورت زیر بدست آورد:
مقدار پیش بینی بر اساس مشاهداتی است که در ان کنار گذاشته شده است.
: امین سطر ماتریس
مقدار برآورد شده بدون استفاده از مشاهده ام است. برای مثال برای برآوردگر این مقدار به صورت زیر محاسبه می شود:
که در ان و به ترتیب و است. بنابراین امین باقی مانده به صورت زیر نوشته می شود: