I. יסודות רשתות נוירונים

הנושא הבא שלנו — למידה עמוקה ורשתות נוירונים — מושך לרוב יותר עניין מנושאים אחרים.

אחת הסיבות להתעניינות הרבה היא התקווה להבין את המוח האנושי, אשר פועל באמצעות עיבוד נוירונלי. סיבה נוספת היא ההתקדמות שחלה בשנים האחרונות בתחום הלמידה החישובית, באמצעות שילוב של מאגרי מידע עצומים עם טכניקות של למידה עמוקה.

מהן רשתות נוירונים?

כדי להבין טוב יותר את התמונה הכוללת, נתחיל מהיחידות הבודדות שמרכיבות אותה. המונח “רשת נוירונים” יכול להתייחס או לרשת נוירונים ביולוגית “אמיתית”, כמו זו שבמוח האנושי או לרשת נוירונים מלאכותית שמדומיינת ומופעלת על גבי מחשב.

מונחים מרכזיים

למידה עמוקה (Deep Learning)

למידה עמוקה מתייחסת לשיטות מסוימות בלמידת מכונה, שבהן מספר “שכבות” של יחידות עיבוד פשוטות מחוברות יחד לרשת כך שהקלט למערכת עובר דרכן אחת אחרי השנייה. הארכיטקטורה הזו נולדה בהשראת אופן עיבוד המידע החזותי במוח, שמגיע דרך העיניים ונקלט ברשתית. העומק של הרשת מאפשר לה ללמוד מבנים מורכבים יותר – מבלי לדרוש כמויות עצומות של נתונים באופן לא מעשי.

נוירונים, גוף התא ואותות

רשת נוירונים, בין אם ביולוגית ובין אם מלאכותית, מורכבת ממספר גדול של יחידות פשוטות – נוירונים – שמעבירות אותות זו לזו. הנוירונים עצמם הם מעבדי מידע פשוטים מאוד, בעלי גוף תא וקשרים (מעין חוטים) שמחברים ביניהם. רוב הזמן הם אינם עושים דבר פרט להמתנה לאותות שנכנסים אליהם דרך הקשרים הללו.

דנדריטים, אקסונים וסינפסות

בשפה הביולוגית, הקשרים שמביאים קלט לנוירון נקראים דנדריטים. לעיתים, כתוצאה מהאותות הנכנסים, הנוירון “יורה” – כלומר שולח אות החוצה לנוירונים אחרים. הקשר שמעביר את האות החוצה נקרא אקסון. כל אקסון עשוי להיות מחובר לדנדריטים של נוירונים אחרים, בצמתים הנקראים סינפסות.

כאשר הוא מבודד מנוירונים אחרים, נוירון יחיד הוא די פשוט וחסר רושם – הוא מסוגל לבצע רק טווח מצומצם מאוד של פעולות. אולם כאשר הוא מחובר לנוירונים אחרים, המערכת שנוצרת מהפעולה המשותפת של כולם יכולה להפוך למורכבת ביותר. אין צורך לחפש רחוק כדי למצוא הוכחה לכך – די להביט (כפי שנאמר בז’רגון משפטי) ב”מוצג א” : המוח שלך!

ההתנהגות של המערכת נקבעת על פי האופן שבו הנוירונים מחוברים זה לזה. כל נוירון מגיב לאותות הנכנסים אליו בצורה מסוימת, שיכולה גם להשתנות עם הזמן. הסתגלות זו ידועה כגורם המרכזי לתפקודים כמו זיכרון ולמידה.