תוכנות חדשות נותנות לתלמידים ציונים בדקדוק וחיבור

תלמידי התיכון האמריקאיים כותבים באופן איום ונורא, וקבוצה אחת הקוראת לרפורמה בחינוך חושבת שיש לה את התשובה: רובוטים. או, ליתר דיוק, קוראים רובוטיים - מחשבים המתוכנתים לסרוק את מאמרי התלמידים ולהפיק ציון. התיאוריה היא שמורים יתנו לתלמידים יותר מטלות כתיבה אם הם לא יצטרכו לקרוא אותן. וככל שתלמידים יכתבו יותר, כך הם ישתפרו בכתיבה - גם אם הקהל העיקרי של הפרוזה שלהם הוא שורה של אלגוריתמים.

כל זה נשמע הגיוני למארק שרמיס, דיקן הקולג' לחינוך באוניברסיטת אקרון. הוא מסייע בפיקוח על תחרות שהוכרזה על ידי קרן וויליאם ופלורה היולט, ומבטיחה פרס בגובה 100,000 דולר למתכנתים שיכתבו את התוכנה הטובה ביותר למתן ציון על כתיבה. "אם אתה מורה בתיכון ואתה נותן מטלת כתיבה, תלך הביתה עם 150 מאמרים", אומר שרמיס, "ותצטרך עזרה". אבל עזרה מקורא רובוטי?

"וואו", אמר ת'ומס ג'ן, מנהל תוכנית הכתיבה של הארוורד קולג'. הוא עצר לרגע. "זה מזעזע", הוא אמר לבסוף. רעיון האוטומציה של ציונים על מאמרים עלה לראשונה בשנות ה-60, אבל המחשבים דאז לא עמדו במטלה. בשלהי שנות ה-90, תוך שהטכנולוגיה השתפרה, מספר חברות בחינות וספרי לימוד נכנסו לתחום.

כיום, מחשבים משמשים להערכת מאמרי תלמידים באוניברסיטת דרום דקוטה בשורה של מבחנים חשובים, ביניהם מבחן ה-TOEFL לרמת אנגלית בו נבחנים תלמידים זרים. אבל המכונות לא מעריכות את המאמרים שנכתבים במבחני ה-SAT או ACT, שני המבחנים העיקריים לכניסה לקולג'. המורים האמריקאיים הראו עד כה חוסר נכונות להעביר את הערכת שיעורי הבית של תלמידיהם לידי הקוראים הרובוטיים.

התחרות של היולט רוצה לשנות את המצב על ידי הדגמת יכולתם של מחשבים להעריך מאמרים באופן מדויק באותה מידה כמו מורים לכתיבה - רק הרבה יותר מהר ובלי כל הדיו האדום המדכא הזה. מתן ציונים אוטומטי למאמרים הוא "בלתי שיפוטי", אמר שרמיס, "וזה ניתן לביצוע 24 שעות ביממה, שבעה ימים בשבוע. אם סטודנטים מסיימים לכתוב מאמר ב-10 בערב, הם יכולים לקבל פידבק ב-10 ודקה".

קחו לדוגמה את ה-Intelligent Essay Assessor, כלי מבוסס-רשת המשווק על ידי Pearson Education. הוא יכול לנתח מאמר בתוך שניות ולזהות שגיאות איות, דקדוק, ארגון ותכונות אחרות כמו גם לעודד את התלמידים לבצע תיקונים. התוכנה סורקת מילות מפתח ומנתחת דוגמאות סמנטיות, ופירסון מתפארים בכך שהיא "יכולה 'להבין' את המשמעות של טקסט בדיוק כמו קורא אנושי".

ג'ן, המורה לכתיבה מהארוורד, לא כל כך בטוח. הוא טוען שהדרך הטובה ביותר ללמד כתיבה טובה היא לעזור לתלמידים להיאבק ברעיונות; טעויות איות ודקדוק בטיוטות מוקדמות ראויות להתעלמות לטובת שיפור התזה עצמה. "צריך לנסות למצוא את הרעיון שמבעבע", הוא אמר, "ורק אז לבדוק אם הפסיקים והנקודות נמצאים במקומות הנכונים". אף מחשב, הוא אומר, לא יכול לעשות את זה.

יותר מזה, ג'ן אמר שהוא חושש שתלמידים יוותרו על הניסיון ליצור מטאפורה יפיפיה או אנלוגיה מלאת מחשבה עליה לא חשבו מעולם אם הם ידעו שהמאמרים שלהם לא נקראים, אלא נסרקים במשך שניה על ידי תוכנת מחשב. "אני רוצה לדעת שאני כותב לקורא אמיתי, בשר ודם, שמתרגש לשמוע את המילים שעל הדף", אמר ג'ן, "ואני בטוח שכך מרגישים גם ילדים".

גם התומכים ברובוט-ציונים מכירים במגבלותיו. ניתן לעבוד על תוכנות הערכה רבות על ידי שילוב של משפטי מפתח בסדר אקראי. מאמר על כריסטופר קולומבוס יכול לדבר על המלכה איזבלה ששטה עם 1492 חיילים לאי פרדיננד - ועדיין לקבל דירוג כמדבר על הנושא הנכון, אמר שרמיס. למחשבים גם יש בעיה בהתמודדות עם פרוזה ניסיונית. הם מעדיפים קונפורמיזם על פני יצירתיות.

הרובוטים שונאים שירה

"הם שונאים שירה", אמר דייוויד וויליאמסון, מנהל מחקר בכיר בארגון ללא כוונות רווח Educational Testing Service שקיבל בשנת 2010 פטנט על מערכת ניקוד אוטומטית למאמרים. אבל וויליאמסון טוען שמעריכים אוטומטיים לא נועדו לזהות את הג'יימס ג'ויס הבא. הם לא שופטים את ערכו האומנותי של טקסט; הם רק מודדים עד כמה כותב מעביר רעיונות בסיסיים באופן יעיל. זה כישור שחסר לתלמידים רבים. רק אחד מארבעה בוגרי תיכון בארה"ב דורג היטב בבחינות האחרונות בתחום.

קרן היולט החלה את תחרות ההערכה הרובוטית שלה בכך שבחנה שורה של תוכנות שכבר זמינות בשוק. התוצאות לא יפורסמו בשבועות הקרובים, אבל בכירי היולט אומרים כי היו להן תוצאות טובות. או אז, היולט הציבה בפני חובבים את האתגר של יצירת אלגוריתמים משלהם. התחרות, שמתארחת באתר הנתונים המדעיים Kaggle.com, משכה מאות משתתפים מכל תחומי החיים. יש להם זמן עד ה-30 לאפריל לכתוב תוכנות שישפטו מאמרים מלאי משפטים שגויים ומעוותים. המטרה היא שהמחשב ייתן לכל מאמר את אותו הניקוד ששופט אנושי היה נותן לו.

מרטין או'לירי, מדען קרחונים באוניברסיטת מישיגן, עובד על התחרות מזה שבועות. כשעבר על אלפי מאמרי דוגמה, הוא מצא שהמעריכים האנושיים בדרך כלל לא נותנים לסטודנטים ניקוד נוסף על שימוש באוצר מילים מתוחכם. אז הוא ביטל את תוכניותיו שהמחשב שלו יסרוק את המאמרים בחיפוש אחר מילים נדירות. במקום זאת, המעריך הרובוטי שלו סופר את סימני הפיסוק.

"מספר הפסיקים הוא דרך מצוינת לצפות את הציון", אמר או'לירי, "זה די מוזר, אבל ככל שיש יותר פסיקים, הציון משתפר". תוך שצלל אל תוך הנתונים, או'לירי נתקל באמת מאכזבת: המעריכים האנושיים אליהם הוא מנסה להשתוות אינם עקביים. הם לא מסכימים אחד עם השני על איכותו של מאמר נתון. הם מעניקים ניקוד שנראה לעתים אקראי.

מחקרים אכן הראו כי הקוראים האנושיים מושפעים על ידי פקטורים שאמורים להיות בלתי רלוונטיים, כמו כמה יפה כותב תלמיד. "המציאות היא שבני אנוש אינם מאוד טובים בזה", אמר סטיבן גרהם, פרופסור באוניברסיטת ונדרבילט שחקר טכניקות ניקוד מאמרים. "זה בלתי נמנע", הוא אמר, שמעריכים רובוטיים ישתלטו על התחום בקרוב. או'לירי לא חושש מהגעתו של היום הזה. הוא בוחן את התוכנה שלו אל מול כתיבה של תלמידים שכבר הוערכה על ידי מורים. כשהניקוד שונה משמעותית מזה של המורים, או'לירי קורא את המאמר כדי לגלות ממה נובע ההבדל. "ברוב המקרים", הוא אומר, "אני מסכים עם המחשב".

תרגום: מיטל רוזנבוים

'בחדרי' גם ברשתות החברתיות - הצטרפו!