امتیازدهی با هوش مصنوعی در TOEFL؛ سرعت بیشتر، دقت انسانی

فایل معرفی TOEFL نشان می دهد که امتیازدهی با کمک هوش مصنوعی در این آزمون، یک فرآیند ترکیبی انسان و AI است؛ یعنی هوش مصنوعی برای افزایش سرعت و مقیاس پذیری به کار می رود، اما همچنان نظارت و داوری انسانی در تمام مراحل حفظ می شود.

در این سیستم، ETS ابتدا مشخص می کند که کدام پاسخ ها برای امتیازدهی با AI مناسب هستند. سپس کارشناسان، معیارهای ارزیابی را تدوین می کنند و این معیارها با بررسی کمیته مشاوره فنی (TAC) بهبود می یابد. بعد از آن، نمونه هایی که توسط انسان نمره گذاری شده اند، برای آموزش مدل هوش مصنوعی استفاده می شوند.

پیش از استفاده عملی، مدل از نظر روایی، پایایی، عدالت و سوگیری با تحلیل های روان سنجی بررسی می شود. حتی پس از اجرا نیز، روند امتیازدهی به طور مداوم پایش می شود تا هرگونه انحراف مدل یا مشکل احتمالی شناسایی شود.

نکته مهم این است که در زمان استفاده واقعی، هر پاسخ هم توسط AI و هم توسط یک انسان بررسی می شود و اگر بین آن ها اختلافی وجود داشته باشد، یک داور انسانی دوم وارد عمل می شود. این ساختار باعث می شود امتیازدهی سریع تر و گسترده تر انجام شود، بدون اینکه کیفیت، انصاف و اعتبار نمره ها کاهش پیدا کند.