II. איך נבנות רשתות נוירונים

כפי שציינו קודם, נוירונים הם יחידות עיבוד פשוטות מאוד.
לאחר שדנו ברגרסיה ליניארית ולוגיסטית בפרק 4, ניתן לראות את הפרטים הטכניים המרכזיים של רשתות נוירונים כווריאציות קלות על אותו רעיון.

הערה

משקלים וקלטים

המודל הבסיסי של נוירון מלאכותי כולל קבוצת פרמטרים מתכווננים, הנקראים משקלים, כמו ברגרסיה ליניארית ולוגיסטית. בדיוק כמו ברגרסיה, המשקלים הללו משמשים כמקדמים שמכפילים את ערכי הקלט של הנוירון, ולאחר מכן מחברים את התוצאה. הסכום של המכפלות בין המשקלים לקלטים נקרא צירוף ליניארי של הקלטים. סביר להניח שאתם זוכרים את האנלוגיה לחשבון בסופר: אתה מכפיל את הכמות של כל פריט במחיר ליחידה, ומחבר את כל התוצאות כדי לקבל את הסכום הכולל.

אם יש לנו נוירון עם שישה קלטים (בדומה לכמויות של שישה פריטים בקנייה – תפוחי אדמה, גזר, וכן הלאה),
קלט 1, קלט 2, קלט 3, קלט 4, קלט 5, קלט 6.
נזדקק גם לשישה משקלים, המקבילים למחירים של אותם פריטים. נקרא להם:
משקל 1, משקל 2, משקל 3, משקל 4, משקל 5, משקל 6.
בנוסף, נרצה לרוב לכלול גם איבר חיתוך, כפי שעשינו ברגרסיה ליניארית.
ניתן לחשוב עליו כתשלום קבוע נוסף, למשל עמלת תשלום באשראי.

ניתן לחשב את הצירוף הליניארי בצורה הבאה:

צירוף ליניארי = איבר חיתוך + משקל 1 × קלט 1 + … + משקל 6 × קלט 6
(כאשר ה־… מסמל שהסכום כולל את כל המכפלות מ־1 ועד 6).

לדוגמה, אם נציב מספרים נקבל:

10.0 + 5.4 × 8 + (–10.2) × 5 + (–0.1) × 22 + 101.4 × (–5) + 0.0 × 2 + 12.0 × (–3) = –543.0

המשקלים כמעט תמיד נלמדים מתוך נתונים, באמצעות אותן רעיונות שנידונו קודם לכן בלמידת רגרסיה ליניארית או לוגיסטית.
אך לפני שנדון בכך בפירוט נוסף, מבחן קצרקר ואז נציג שלב חשוב נוסף שמבצע נוירון לפני שהוא שולח החוצה אות פלט.