זיהוי של נימת הדיבור

מוטיבציה:

בדיבור יש מידע לא ורבלי (אינטונציה, הפסקות, ...) שאינו קיים בטקסט כתוב. במסגרת הפרויקט ננסה לנצל מידע זה להבנת הדיבור. יעמדו לרשותכם תוכנות לעיבוד קול. תשתמשו בשיטות לימוד מכונה (Machine Learning) ובינה מלאכותית. הפרויקט עוסק באחד ההיבטים בתחום "הבנת דיבור". הבנת משפט מדובר יכולה להשתנות מקצה אל הקצה כאשר דובר משנה את נימת דיבורו. על כן זיהוי נימת הדיבור זוהי משימה חשובה להבנת דיבור וניתוח המידע. עליכם לתייג את המשפט בהתאם למספר קטגוריות כגון לחש, צעקה, זעם, בכי, שאלה.

התוכנית שתכתבו תלמד מדוגמאות מתויגות שאתם תייצרו.

תיאור הפרויקט:

בפרויקט תידרשו לכתוב תוכנה עם:

• קלט:
• קלט לשלב לימוד: אוסף קבצי דיבור וטקסט מתויגים למטרת לימוד -
• כל קובץ דיבור יכיל מספר משפטים מדוברים;
• לכל קובץ דיבור יהיה קובץ טקסט שבו מתוארות נקודות זמן שבהן מתחילים ומסתיימים משפטים בקובץ הדיבור עם ציון:
• סיווג המשפטים לתוך אחת קטגוריות הנימה
• קלט לשלב הערכה: קובץ דיבור וטקסט.
• קובץ דיבור יכיל מספר משפטים מדוברים.
• קובץ טקסט שבו מתוארות נקודות זמן שבהן מתחילים ומסתיימים משפטים בקובץ הדיבור;
• פלט של שלב הערכה: קובץ טקסט כמו קובץ הקלט, בו לכל משפט מקובץ הקלט יצורף זוג תגים -
• סיווג המשפט לתוך אחת הקטגוריות הנימה;
• רמת הביטחון: מספר בין 0 ל- 1 המציין רמת הביטחון של התוכנה בהחלטתה.

אמצעי המחקר:

• PRAAT: תוכנה לעיבוד קול
• C4.5: תוכנה עבור Machine Learning
• JAVA: את התוכנה תכתבו ב- JAVA
• ASR: Speech Recognizer מתוך Microsoft Speech SDK 5.1

ספרות:

ספר:

כותרת:

"Spoken Language Processing,

A Guide to Theory, Algorithm, and System Development"

מחברים: Xuedong Huang, Alex Acero, Hsiao-Wuen Hon

פרק 17, עמודים 853-866