سنجش و اندازه گیری

عنوان :

مقایسه ی کاربرد اندازه ی اثر در سنجش عملكرد افتراقي بين دو روش رگرسیون لجستیک و منتل هنزل

نويسنده / محقق: محمد حسين ضرغامي

مترجم :

استاد راهنما: دكتر دکتر علی دلاور

استاد مشاور/استادداور :دكتر دکتر فریبرز درتاج  / دکتر فرخي

كتابنامه:                                                واژه نامه:

نوع پايان نامه:     □  بنيادي            □ توسعه اي              □ كاربردي

مقطع تحصيلي:كارشناسي ارشد      سال تحصيلي: 88-1387

محل تحصيل:تهران  نام دانشگاه : علامه طباطبائي   دانشكده : دانشکده علوم تربیتی و روانشناسی

تعداد صفحات : 105

كليد واژه به زبان فارسي:

سنجش عملكرد افتراقي ٍ رگرسیون لجستیک ٍ روش منتل هنزل و  اندازه اثر

كليد واژه بزبان انگليسي : DIF, logistic regression, manel haensel & effect size

چكيده

این پژوهش به مقایسه‏ی دو روش غالب در تعیین عملکرد افتراقی سوال می‏پردازد.  این دو روش عبارتند از: روش رگرسیون لجستیک و روش منتل هنزل. مبنای این مقایسه، آماره‏ی اندازه‏ی اثر می‏باشد. در این مطالعه تنها به بررسی DIF یکنواخت پرداخته شده است. در ضمن پارامترهای مختلف سوال و بزرگی DIF موجود در داده‏های تجربی دستکاری شده و از طریق اطلاعات بدست آمده داده‏های لازم شبیه سازی شده‏اند. نتایج  نشان می‏دهد که کاربرد اندازه‏ی اثر دقت و صحت کشف سوالات دارای DIF را در هر دو روش MH DIF و  LR DIF بهبود می‏بخشد. این بهبود برای روش MH DIF در مقایسه با روش LR DIF  ناچیز است.

الف:موضوع و طرح مسئله (اهميت موضوع و هدف):

 اندازه ي اثر به عنوان يك آماره ي مكمل و به منظور كنترل خطاي نوع اول به شدت احساس می‏شود(کیرک، 1996) علاوه بر این زماني كه در يك سوال DIF وجود دارد بايد مقداری كمي از آن ارائه داد(پتنزا و دورانز[1]، 1994). .به منظور اصلاح این وضعیت باید روش‏های آماری استفاده شود که نسبت به حجم نمونه مقاوم[2] و خدشه ناپذیر باشند. تمرکز اصلی این پژوهش روی موضوعات زیر است:

الف) آیا همراه کردن “اندازه‏ی اثر” در روش LR DIF در کنار آزمون‏های معناداری آماری،  دقت کشف  DIFرا افزایش می‏دهد؟

ب) آیا همراه کردن “اندازه‏ی اثر” در روش MH DIF  در کنار آزمون‏های معناداری آماری، DIF را با دقت بیشتری کشف می‏کند؟

ب)مباني نظري شامل مرور مختصري از منابع چارچوب نظري و پرسشها و فرضيه ها:

در اين پايان نامه بيشتر از منابع انگليسي و سايت هاي حوزه تخصصي چون فارين افيرز و فارين پاليسي استفاده شده و سوال اصلي عبارت است از : آیا همراه کردن “اندازه‏ی اثر” در روش LR DIF در کنار آزمون‏های معناداری آماری،  دقت کشف  DIFرا بيشتر افزایش می‏دهد يا روشMH DIF ؟

پ )روش تحقيق شامل تعريف مفاهيم ،روش تحقيق ،جامعه مورد تحقيق ،نمونه گيري و روشهاي نمونه گيري ،ابزار اندازه گيري ،نحوه اجراي آن ،شيوه گرد آوري و تجزيه و تحليل داده ها :

 روش انجام پژوهش در این مطالعه به طور خلاصه به این صورت است که ابتدا تعدادی از پرسشنامه‏های دانش آموزان شرکت کننده در آزمون کنکور آزمایشی سال 85 که از طرف سازمان سنجش برگزار شده انتخاب شدند و به وسیله‏ی نرم افزار Bilog- MG پارامترهای مختلف سوالات بدست آمد. از طریق پارامترهای بدست آمده و فرمول مساحت راجو[3] سوالات دارای DIF بدست آمدند. به دلیل کم بودن سوالات دارای DIF پارامتر سوالات دستکاری شد تا تعداد بیشتری سوال داری DIF مشخص شوند. از این سوالات و سوالاتی که فاقد DIF بودند به طور سیستماتیک نمونه‏ای انتخاب شد تا مورد تحلیل قرار گیرند. به وسیله‏ی  نرم افزار SAS[4] و از طریق پارامترهای دستکاری شده مربوط به سوالات انتخاب شده، داده‏های شبیه سازی شده تهیه گردید. به کمک این نرم افزار(SAS)  مقدار ارزش p سوالات و اندازه‏ی اثرمربوط به دو روش DIF رگرسیون لجستیک و DIF روش منتل هنزل  بدست آمد و سپس به کمک همین نرم افزار تحلیل‏های آماری لازم انجام شد و نتایج بدست آمد.

ت )يافته تحقيق :

 آماره‏ی “اندازه اثر” روش LR DIF پیش‏بینی‏کننده‏ی قویتری نسبت به ارزش P هم برای سولات فاقد DIF است و هم برای سوالات دارای DIF. اگر چه اندازه‏ی اثر در پیش‏بینی سوالات DIF از ارزش P قویتر است با این وجود “اندازه اثر” در کنار ارزش P  تنها 45% سوالات دارای DIF را به درستی تشخیص می دهد. اگر روش LR DIF به منظور تشخیص سوالات دارای DIF انتخاب شود باید شامل “اندازه اثر” در مراحل تحلیل و تفسیر باشد

ث )نتيجه گيري و پيشنهادات :

به طور کلی کاربرد “اندازه اثر” دقت و صحت هر دو روش  DIF LR‌ و MH DIF را بهبود می بخشد. بر مبنای پژوهش حاضر باید آماره‏ی “اندازه اثر” به منظور تعیین و جود DIF در یک سوال در هر دو روش DIF به عنوان آماره‏ی مکمل P value استفاده شود.

پیشنهاد می‏شود: پژوهشگران داده‏های شبیه سازی برای موقعیت های مختلف را تهیه کرده و به بررسی قدرت کشف DIF سوالات بپردازند.