طراحی و کاربرد الگوهای تهیه‌ی خزانه‌ی‌ سؤال در بهینه سازی کارکرد سنجش انطباقی کامپیوتری در آزمونهای سرنوشت ساز

۱- کلیات پژوهش

۱-۱- مقدمه

۱-۲- بیان مسئله

۱-۳- اهمیت و ضرورت مسئله

۱-۴- هدف کلی پژوهش

۱-۴-۱- اهدف فرعی پژوهش

۱-۵- سؤالات پژوهش

۱-۶- تعاریف نظری و عملیاتی پژوهش

۲- مبانی نظری پژوهش

مقدمه

۲-۱- سنجش انطباقی کامپیوتری

۲-۱-۱- سنجش انطباقی چیست؟

۲-۱-۲- تاریخچه سنجش انطباقی کامپیوتری

۲-۱-۳- سنجش انطباقی کامپیوتری چگونه کار می کند؟

۲-۱-۴- اجرای برنامه‌های سنجش در مقیاس بزرگ از طریق CAT

۲-۲- مولفه­های تعیین‌کننده در طراحی الگوریتم‌های اجرایی CAT

۲-۲-۱- الگوریتم­های انتخاب سؤال اول و انتخاب سؤالات بعدی، قواعد اتمام آزمون

۲-۲-۱-۱- شیوه‌ی انتخاب سؤال اولیه

۲-۲-۱-۲- عوامل تاثیرگذار بر انتخاب سؤالات بعدی و شیوه‌ی نمره‌دهی

شیوه‌های انتخاب سؤال به منظور افزایش کارایی آزمون و نمره دهی آزمون

۲-۲-۱-۳- قواعد اتمام آزمون

مجموعه قواعد توقف آزمون

۲-۲-۲- برآورد توانایی یا شیوه‌ی نمره‌دهی

۲-۲-۲-۱- شیوه‌ی برآورد توانایی اوون (برآوردهای بیزین)

۲-۲-۲-۲- شیوه‌ی بیشینه‌ی درست نمایی

۲-۲-۳- مواجهه‌ی سؤال

۲-۲-۳-۱- روش کنترل مواجهه‌ی سیمپسون-هتر

استفاده از پارامترهای کنترل مواجهه

۲-۲-۴- تعادل محتوایی آزمون

۲-۳- خزانه­ی سؤال

۲-۳-۱- طراحی خزانه‌ی سؤال و ارتباط آن با مولفه‌های CAT

۲-۳-۲- رویکردهای موجود در طراحی خزانه‌ی سؤال

۲-۳-۲-۱- رویکرد اول: رویکرد برنامه‌نویسی ریاضی یا برنامه‌نویسی اعداد صحیح

طبقه‌‌بندی صفات

قیود و اهداف

ایجاد یک مدل استاندارد برای سرهم کردن یک تست با یک هدف کمّی

کاربرد رویکرد برنامه‌نویسی خطی در مدل‌هایی برای سرهم کردن تست‌های انطباقی

محدودیت‌های رویکرد برنامه‌نویسی ریاضی در طراحی خزانه‌ی سؤال بهینه

مدل‌یابی روش انتخاب سؤال مدل انحرافات وزن‌دار (WDM)

۲-۳-۲-۲- رویکرد دوم: رویکرد اکتشافی

روش شبیه‌سازی خزانه‌ی سؤال در رویکرد اکتشافی (ریکیسی)

ایجاد سؤالات بهینه:

روش‌هایی برای ساخت سؤالات در شبیه‌سازی خزانه‌ی سؤال با مدل سه پارامتری لوجستیک ۳PLM

ایجاد پارامترهای سؤال در طول فرآیند شبیه‌سازی خزانه‌ی سؤال

تعدیل پس از شبیه‌سازی

اعمال اصلاحاتی برای روش کنترل مواجهه

۲-۳-۳- ملاک‌های ارزیابی خزانه‌های سؤال شبیه‌سازی شده

۲-۳-۳-۱- آگاهی شرطی آزمون

۲-۳-۳-۲- خطای استاندارد شرطی اندازه‌گیری (CSEM)

۲-۳-۳-۳- اریب و میانگین مجذور خطا (MSE)

۲-۳-۳-۴- اریب شرطی و میانگین مجذور خطای شرطی (CMSE)

۲-۳-۳-۵- محاسبه‌ی ضریب همبستگی بین توانایی‌های برآورد شده و واقعی

۲-۳-۳-۶- کجی توزیع نرخ مواجهه‌ی سؤال

۲-۳-۳-۷- درصد سؤالات بیش مواجهه شده

۲-۳-۳-۸- درصد سؤالات کم مواجهه شده

۲-۳-۳-۹- نرخ همپوشی آزمون

۳- روش‌شناسی پژوهش و طرح تحقیق

۳-۱- مدل CAT عملیاتی

۳-۱-۱- ابزار پژوهش در CAT عملیاتی

۳-۱-۲- نحوه‌ی طراحی برنامه‌ی CAT

۳-۱-۳- جامعه و نمونه پژوهش در CAT عملیاتی

۳-۲- طرح شبیه‌سازی CAT

۳-۲-۱- مراحل شبیه‌سازی خزانه‌ی سؤال بهینه

۳-۳- ملاک‌های ارزیابی

۳-۴- شیوه شبیه‌سازی داده‌ها

۳-۵- عناصر مورد نیاز برای طراحی یک خزانه‌ی سؤال بهینه

۳-۵-۱- تعریف bin-map

۳-۵-۱-۱- روش “bin-and-union” و خزانه‌ی سؤال p-optimality و r-optimality

۳-۵-۱-۲- شرح مفهوم “bin” در مدل سه پارامتری

۳-۶- ایجاد سؤالات بهینه در مدل سه پارامتری برای CAT

۳-۶-۱- ایجاد پارامترهای سؤال در طول فرآیند شبیه‌سازی خزانه‌ی سؤال

۳-۶-۱-۱- اطلاعات مربوط به CAT تک محتوایی

۳-۶-۱-۲- اطلاعات مربوط به CAT سه محتوایی

۳-۷- ویژگی‌های این مطالعه‌ که به شیوه‌ی شبیه‌سازی مونت کارلو ریکیسی(۲۰۰۳؛ ۲۰۰۴؛ ۲۰۰۹) اضافه شده است:

۳-۸- نرم افزار شبیه سازی

۴- تجزیه و تحلیل یافته­ های پژوهش

۴-۱- مقدمه

۴-۲- طراحی خزانه سؤال بهینه‌ی شبیه‌سازی شده برای آزمون انطباقی ریاضی بر اساس مدل تک پارامتری راش، بدون وارد کردن قیود تعادل محتوایی و بدون در نظر گرفتن کنترل مواجهه‌ی بیش از حد سؤال، پهنای b-bin= 0.2

۴-۲-۱- اجرای شبیه‌سازی برای یک آزمودنی

۴-۲-۲- اجرای شبیه‌سازی برای دو آزمودنی و مفهوم‌سازی روش bin-and-union

۴-۲-۳- اجرای شبیه‌سازی برای ۶۰۰۰ آزمودنی

۴-۲-۴- خلاصه‌ی بخش اول

۴-۳- طراحی خزانه‌ی سؤال بهینه در مدل‌های دو و سه پارامتری

۴-۳-۱- طراحی خزانه‌ی سؤال بهینه بدون در نظر گرفتن تعادل محتوایی در اجرای CAT

۴-۳-۱-۱- ساخت خزانه‌های سؤال بدون کنترل مواجهه‌ی بیش از حد سؤال

ساخت خزانه‌های سؤال با b-bin=0.2

ساخت خزانه‌های سؤال با b-bin=0.4

خلاصه مرحله‌ی اول و دوم

۴-۳-۱-۲- ساخت خزانه‌های سؤال با کنترل مواجهه‌ی سیمپسون-هتر (S-H)

ساخت خزانه‌های سؤال با b-bin=0.2

ساخت خزانه‌های سؤال با b-bin=0.4

خلاصه‌ی مرحله‌ی سوم و چهارم

۴-۳-۲- طراحی خزانه‌ی سؤال بهینه با در نظر گرفتن تعادل محتوایی در اجرای CAT

۴-۳-۲-۱- ساخت خزانه‌های سؤال بدون کنترل مواجهه‌ی بیش از حد سؤال

ساخت خزانه‌های سؤال با b-bin=0.2

۴-۳-۲-۲- ساخت خزانه‌های سؤال با کنترل مواجهه‌ی بیش از حد سؤال

ساخت خزانه‌های سؤال با b-bin=0.2

خلاصه‌ی مرحله‌ی پنجم و ششم

نتایج مقایسه‌ی میانگین مجذور خطاها در الگوهای طراحی خزانه‌ی سؤال بهینه

نتایج مقایسه‌ی کجی توزیع نرخ مواجهه سؤال در الگوهای طراحی خزانه‌ی سؤال بهینه

۵- بحث و نتیجه­ گیری

۵-۱- مقدمه

۵-۲- تعریف بهینه بودن

۵-۳- رویکرد ریکسی در مقابل روش برنامه‌نویسی ریاضی و تلفیق این دو رویکرد

۵-۴- بحث و نتیجه‌گیری از یافته‌های پژوهش

۵-۴-۱- یافته‌های پژوهش

۵-۵- تلویحاتی در مورد ساخت خزانه‌های سؤال و مدیریت یا نگهداری از آنها

۵-۶- محدودیت‌های پژوهشی

۵-۷- پیشنهادات پژوهشی

۵-۸- دشواری‌های اجرایی پژوهش