سنجش و اندازه گیری

تحلیل مقیاس با IRT:

 علاوه بر بررسی ابعاد زیر بنایی مقیاس می توان از مدل های IRT در ساخت سوالات و تفسیر نمرات نگرش استفادده کرد. در تحلیل های سنتی مقیاس دو شاخص اصلی سوال نقش اصلی را بازی می کردند. اول ضریب همبستگی سوال با نمره ی آزمون. پژوهشگران در این حوزه علاقمندند تا این همبستگی سوال با نمره کل آزمون بالا باشد در این صورت است که آن را یک شاخص قابل قبول می دانند. این امر نه تنها سبب فقدان پهنای اندازه گیری می شود بلکه باعث نقض مفروضه ی استقلال موضعی می شود. زمانی استقلال موضعی مورد خطر است که دو سوال محتوی نزدیک به هم داشته باشند. زمانی که این مفروضه مورد تهدید قرار می گیرد دیگر نمی توان همبستگی بین سوالات را از طریق صفت مکنون توجیه کرد. دومین شاخص سنتی برای تحلیل سوالات میانگی سوال است. پژوهشگران سعی می کنند مثلا برای سوالات دو ارزشی سوالاتی را نگه دارند که پاسخ های تایید شده  در جمعیت های مشخص 5/ باشد. با این روش واریانس نمره ی آزمون بالا می رود و به همسانی درونی بالاتر منجر می شود. این دو شاخص در سوال های مبتنی بر CTT به نمونه وابسته اند یعنی اندازه های آنها به ویژگی های نمونه وابسته است. مزیت پارامترهای بدست آمده از IRT نسبت به روش کلاسیک علاوه بر وابسته نبودن به نمونه این است که امکان اجرای تحلیل های پیشرفته را مهیا می کنند.IRT شناسایی سوگیری سوال، سنجش انطباقی رایانه ای و ارزیابی برازش شخص را آسان می کند. علاوه بر این منحنی های آگاهی سوال و آگاهی آزمون علاوه بر منحنی های ویژگی سوال یکی از مهمترین مزیت های IRT محسوب می شوند.

در روش های سنتی دقت آزمون های شخصیت و نگرش بر مبنی ضرایب همسانی درونی آنها بررسی می شود و خطای معیار اندازه گیری برای تمام آنها یکسان در نظر گرفته می شود. تحت IRT سوال ها بر اساس آگاهی بدست آمده داوری می شود در ضمن خطای معیار برای هر آزمودنی متفاوت برآورد می شود. در این رویکرد برای مقایسه ی دو آزمون تنها بر اساس آلفای آنها قضاوت نمی شود بلکه منحنی آگاهی آزمون ها معیار مقایسه قرار می گیرند علاوه بر این که ضریب آلفای کرونباخ معیار مناسبی برای همسانی درونی نیست و معایب زیادی دارد. مقدار این آزمون آماری از طریق سوالات باز نوشته شده بشدت افزایش می یابد و آزمون نمی تواند بین سوالات با یک محتوی و سئوالات باز نوشته شده تمایز قایل شود. منابع زیادی در رد آلفای کرونباخ به عنوان معیار همگنی درونی پرداخته اند. دو آزمون ممکن است دارای ضرایب آلفای برابر باشند اما در دو سطح متفاوت توانایی بیشترین آگاهی را فراهم آورند بنابراین برای تفکیک آزمودنی ها برای مقاصد خاص بیشتر مورد استفاده است. یکی دیگر از تفاوت ها و در عین حال از مزیت های نظریه ی سوال پاسخ در برابر نظریه کلاسیک این است که در نظریه کلاسیک معیار تفسیر نمرات بر اساس هنجارها یی است که از جمعیت های خاص مانند زنان، مردان و غیره بدست می آیند اما در نظریه ی IRT تفسیر جایگاه آزمودنی روی صفت مکنون بر محتوی سوالات استوار است یعنی پارامترهای صفت مکنون و پارامترهای سوال روی یک مقیاس واحد است.

استفاده از IRT در تحلیل سوالات پرسشنامه ها از چند منظر قابل توجه است. اول این که سازه های مورد سنجش (مانند توانایی، رغبت، ارزش های کاری و بی تصمیمی شغلی) چند بعدی اند و دوم اینکه مشخصه بیشتر سوالات تکراری بودن آنها است. اگر چه در روش های سنتی تکراری بودن سبب افزایش آلفا می شود و یکی از محدودیت های آلفای کرونباخ محسوب می شود ولی در رویکرد IRT می توان تکراری بودن سوالات را از طریق مقایسه ی منحنی های آگاهی سوالات بررسی نمود. از طرف دیگر از آنجا که بیشتر پرسشنامه ها بر اساس مقیاس لیکرت می باشند جالب توجه خواهد بود که بررسی شود آیا آزمودنی ها می توانند تمایز درجه های مقیاس را درک کنند یا خیر. این کار از طریق پارامترهای آستانه حصول می شود. از طریق مشاهده ی نمودار های ویژگی سوالات می توان تشخیص داد که تعداد نقاط مقیاس می تواند چند عدد تا اطلاعات مربوط به افراد آزمودنی کاهش نیابد یعنی می توان از آن برای کاهش نقاط مقیاس بدون حذف اطلاعات استفاده کرد.

نرم افزار Multilog

برنامه ی نرم افزار ی که توانایی بررسی سوالات در نظریه ی سوال پاسخ را فراهم می آورد برنامه ی Multilog است. این برنامه قابلیت های زیر را دارا می باشد.

1. با کاربران رابطه ی گرافیکی برقرا می سازد
2. مدل های یک، دو و سه پارامتری لوجستیک برای داده های فاصله ای را در بر می گیرد.
3. مدل سامیجیما برا ی پاسخ های رتبه بندی شده را فراهم می آورد.
4. مدل باک برای پاسخ های اسمی را شامل می شود.
5. برای سوالات چند انتخابی مدل استرینبرگ را شامل می شود.
6. سوالات چند گزینه ای و پرسشنامه های با مقیاس لیکرت را بررسی می کند.
7. نمره گذاری سوالات چند گزینه ای (SCORING)
8. انجام تحلیل عملکرد افتراقی سوال (DIF)
9. تحلیل سوالات یک آزمون که از انواع مختلف سوال تشکیل شده است.
10. پارامترهای سوال را در گروههای مختلف مقایسه می کند.
11. بررسی محدودیت های مساوی و پارامترهای ثابت شده.
12. ارائه ی نمودراهای IRT با قابلیت انتقال به Word, Access و غیره.
13. برنامه ی کمکی (HELP) قوی و آنلاین که شامل تفسیر، Syntax و مثال های متنوع.

همه ی مدل های برآور د شده  از طریق این برنامه به شکل توزیع لوجستیک واقعی است و بنابراین D=1.7 در آ اعمال نمی شود. برآورد پارامترها با رویکرد MML انجام می شود. این برنامه آمار توصیفی کاملی از سوال های آزمون ارائه نمی دهد بنابراین همبستگی های دو رشته ای و چند رشته ای را حساب نمی کند. نرم افزار مالتی لوگ برای هر سوال آزمون پارامترهای شیب، دشواری و خطای استاندارد مربوط به آ«ها را برآورد می کند ولی هیچ آزمون آماری برای برازش سوالات ارائه نمی دهد. اما نسبت مشاهده شده ی آزمودنی ها که به هر مقوله پاسخ داده اند و نسبت پیش بینی شده به وسیله ی پارامترهای برآورد شده ی مدل ارائه م دهد.بنابراین از این اندازه ها می توان برای برازش سوال استفاده کرد. مالتی لوگ برای هر سوال اطلاعات روانسنجی در ده نقطه از پیوستار صفت مورد اندازه گیری ارائه می دهد. این اطلاعات برای بررسی بهترین نقطه ی توانایی که بیشترین ضریب تشخیص را دارد مفید است. بنابراین آگاهی آزمون در ده نقطه مشخص می شود.