אקטיבציות ופלטים

לאחר שחישב את השילוב הליניארי, הנוירון מבצע פעולה נוספת אחת. הוא מעביר את השילוב הליניארי דרך פונקציה שנקראת פונקציית אקטיבציה. דוגמאות טיפוסיות לפונקציות כאלה כוללות:

• פונקציית הזהות: לא עושה דבר – פשוט מחזירה את השילוב הליניארי כפי שהוא.

• פונקציית מדרגה: אם הערך של השילוב הליניארי גדול מאפס – נשלח פולס (מצב “פועל” – ON), אחרת – לא נשלח דבר (מצב “כבוי” – OFF).

• פונקציית סיגמואיד: גרסה “רכה” יותר של פונקציית המדרגה, שמחזירה ערכים בטווח שבין 0 ל-1 בצורה חלקה ורציפה.

שימו לב: כאשר משתמשים בפונקציית הזהות, הנוירון מתנהג בדיוק כמו רגרסיה ליניארית. לכן, פונקציית הזהות כמעט שלא משמשת ברשתות נוירונים – היא לא מוסיפה שום דבר חדש או מעניין.

הערה

כיצד נוירונים מופעלים

נוירונים ביולוגיים אמיתיים מתקשרים על ידי שליחת פולסים חשמליים חדים שנקראים “ספייקים”, כך שבכל רגע נתון, האות שהם שולחים החוצה הוא או פועל או כבוי (1 או 0). פונקציית המדרגה מחקה התנהגות זו.

עם זאת, רשתות נוירונים מלאכותיות נוטות להשתמש בפונקציות אקטיבציה שמחזירות רמות הפעלה מספריות רציפות בכל עת, כמו פונקציית הסיגמואיד. לכן, כדי להשתמש בדימוי מעט משונה – נוירונים ביולוגיים מתקשרים באופן שדומה לקוד מורס, בעוד שנוירונים מלאכותיים מתקשרים כמו מי שמכוונן את גובה הקול שלו.

הפלט של הנוירון, שנקבע על ידי השילוב הליניארי ופונקציית האקטיבציה, יכול לשמש להפקת תחזית או קבלת החלטה. לדוגמה, אם הרשת נועדה לזהות תמרור עצור מול רכב אוטונומי, הקלט יכול להיות הפיקסלים של תמונה שצולמה על ידי מצלמה המחוברת לחזית הרכב והפלט יכול לשמש להפעלת מנגנון עצירה שיביא לעצירת הרכב לפני התמרור.

הלמידה או ההתאמה של הרשת מתבצעת כאשר המשקלים מתכווננים כך שהרשת תפיק את הפלטים הנכונים — בדיוק כמו בלמידת רגרסיה ליניארית או לוגיסטית. רשתות נוירונים רבות הן גדולות מאוד והגדולות ביותר מכילות מאות מיליארדי משקלים. אופטימיזציה של כל אלו יכולה להיות משימה מאתגרת במיוחד שדורשת עוצמת חישוב אדירה.