Ποιος είναι ο μαθηματικός τύπος της συνέλιξης σε μια εικόνα 2D;
Η λειτουργία συνέλιξης είναι μια θεμελιώδης διαδικασία στη σφαίρα των συνελικτικών νευρωνικών δικτύων (CNN), ιδιαίτερα στον τομέα της αναγνώρισης εικόνων. Αυτή η λειτουργία είναι ζωτικής σημασίας για την εξαγωγή χαρακτηριστικών από εικόνες, επιτρέποντας στα μοντέλα βαθιάς μάθησης να κατανοούν και να ερμηνεύουν οπτικά δεδομένα. Η μαθηματική διατύπωση της λειτουργίας συνέλιξης σε μια εικόνα 2D είναι απαραίτητη για την κατανόηση του τρόπου με τον οποίο τα CNN επεξεργάζονται και αναλύουν εικόνες.
Μαθηματικά, η λειτουργία συνέλιξης για μια εικόνα 2D μπορεί να εκφραστεί ως εξής:
[ (I * K)(x, y) = sum_{i=-m}^{m} sum_{j=-n}^{n} I(x+i, y+j) cdot K(i, j ) ]Που:
– ( I ) αντιπροσωπεύει την εικόνα εισόδου.
– ( K ) υποδηλώνει τον πυρήνα ή το φίλτρο.
– ( (x, y) ) είναι οι συντεταγμένες του εικονοστοιχείου εξόδου.
– ( m ) και ( n ) είναι το μισό πλάτος και το μισό ύψος του πυρήνα, αντίστοιχα.
Σε αυτήν την εξίσωση, ο πυρήνας ( K ) ολισθαίνει πάνω από την εικόνα εισόδου ( I ), εκτελώντας πολλαπλασιασμό βάσει στοιχείων και αθροίζοντας τα αποτελέσματα για να παραχθεί μια μοναδική τιμή εικονοστοιχείου εξόδου. Αυτή η διαδικασία επαναλαμβάνεται για κάθε pixel στον χάρτη χαρακτηριστικών εξόδου, με αποτέλεσμα μια μετασχηματισμένη εικόνα που επισημαίνει συγκεκριμένα χαρακτηριστικά με βάση τις τιμές του πυρήνα.
Η λειτουργία συνέλιξης μπορεί να γίνει καλύτερα κατανοητή μέσω ενός παραδείγματος βήμα προς βήμα. Εξετάστε έναν απλό πυρήνα 3×3 ( K ) και μια εικόνα εισόδου 5×5 ( I ):
[ K = start{bmatrix}1 & 0 & -1 \
1 & 0 & -1 \
1 & 0 & -1
τέλος{bmatrix} ] [ I = αρχή{bmatrix}
1 & 2 & 3 & 4 & 5 \
6 & 7 & 8 & 9 & 10 \
11 & 12 & 13 & 14 & 15 \
16 & 17 & 18 & 19 & 20 \
21 & 22 & 23 & 24 & 25
τέλος{bmatrix} ]
Για να υπολογίσουμε τη συνέλιξη, τοποθετούμε το κέντρο του πυρήνα σε κάθε pixel της εικόνας εισόδου και εκτελούμε τα ακόλουθα βήματα:
1. Τοποθετήστε τον πυρήνα: Τοποθετήστε το κέντρο του πυρήνα στην επάνω αριστερή γωνία της εικόνας.
2. Πολλαπλασιασμός κατά στοιχείο: Πολλαπλασιάστε κάθε στοιχείο του πυρήνα με το αντίστοιχο στοιχείο της εικόνας.
3. Αθροιση: Αθροίστε τα αποτελέσματα του πολλαπλασιασμού κατά στοιχεία.
4. Μετακινήστε τον πυρήνα: Μετακινήστε τον πυρήνα στην επόμενη θέση και επαναλάβετε τα βήματα 2-3.
Για την πρώτη θέση (πάνω-αριστερά γωνία), ο υπολογισμός έχει ως εξής:
[αρχίζω{στοιχισμένη}(I * K)(1, 1) &= (1 cdot 1) + (2 cdot 0) + (3 cdot -1) \
&quad + (6 cdot 1) + (7 cdot 0) + (8 cdot -1) \
&quad + (11 cdot 1) + (12 cdot 0) + (13 cdot -1) \
&= 1 + 0 – 3 + 6 + 0 – 8 + 11 + 0 – 13 \
&= -6
end{στοίχιση} ]
Αυτό το αποτέλεσμα, -6, είναι η τιμή του χάρτη χαρακτηριστικών εξόδου στη θέση (1, 1). Η επανάληψη αυτής της διαδικασίας για κάθε θέση του πυρήνα πάνω από την εικόνα εισόδου δημιουργεί ολόκληρο τον χάρτη χαρακτηριστικών εξόδου.
Η λειτουργία συνέλιξης συνήθως συνοδεύεται από πρόσθετες έννοιες, όπως padding και stride:
- Υλικό παραγεμίσματος: Προσθήκη επιπλέον εικονοστοιχείων γύρω από το περίγραμμα της εικόνας εισόδου, συχνά με μηδενικά (μηδενική συμπλήρωση), για τον έλεγχο των χωρικών διαστάσεων του χάρτη χαρακτηριστικών εξόδου. Η επένδυση διασφαλίζει ότι ο χάρτης χαρακτηριστικών εξόδου έχει τις ίδιες διαστάσεις με την εικόνα εισόδου, διατηρώντας τις χωρικές πληροφορίες.
- Δρασκελιά: Το μέγεθος βήματος με το οποίο ο πυρήνας μετακινείται κατά μήκος της εικόνας εισόδου. Ένας διασκελισμός 1 σημαίνει ότι ο πυρήνας κινείται ένα εικονοστοιχείο κάθε φορά, ενώ ένας διασκελισμός 2 σημαίνει ότι ο πυρήνας κινείται δύο εικονοστοιχεία τη φορά. Το Stride επηρεάζει τις χωρικές διαστάσεις του χάρτη χαρακτηριστικών εξόδου, με μεγαλύτερα βήματα που καταλήγουν σε μικρότερες διαστάσεις εξόδου.
Οι διαστάσεις εξόδου της λειτουργίας συνέλιξης μπορούν να υπολογιστούν χρησιμοποιώντας τον ακόλουθο τύπο:
[ text{Output Width} = leftlfrac{text{Input Width} – text{Kernel Width} + 2 cdot text{Padding}}{text{Stride}} rightrfloor + 1 ] [ text{Output Height} = frac leftlfloor{text {Input Height} – text{Kernel Height} + 2 cdot text{Padding}}{text{Stride}} δεξιός όροφος + 1 ]Αυτοί οι τύποι διασφαλίζουν ότι οι χωρικές διαστάσεις του χάρτη χαρακτηριστικών εξόδου καθορίζονται σωστά με βάση τις διαστάσεις της εικόνας εισόδου, το μέγεθος του πυρήνα, το padding και το βήμα.
Στο πλαίσιο των συνελικτικών νευρωνικών δικτύων, πολλαπλά συνελικτικά επίπεδα στοιβάζονται μαζί, το καθένα με το δικό του σύνολο από πυρήνες που μπορούν να μάθουν. Αυτά τα επίπεδα εξάγουν σταδιακά χαρακτηριστικά υψηλότερου επιπέδου από την εικόνα εισόδου, επιτρέποντας στο δίκτυο να αναγνωρίζει πολύπλοκα μοτίβα και αντικείμενα. Οι πυρήνες σε κάθε επίπεδο μαθαίνονται κατά τη διαδικασία εκπαίδευσης μέσω backpropagation, βελτιστοποιώντας την απόδοση του δικτύου στη δεδομένη εργασία.
Τα συνελικτικά επίπεδα ακολουθούνται συχνά από συναρτήσεις ενεργοποίησης, όπως το ReLU (Rectified Linear Unit), οι οποίες εισάγουν τη μη γραμμικότητα στο μοντέλο. Αυτή η μη γραμμικότητα επιτρέπει στο δίκτυο να μάθει πιο σύνθετες αναπαραστάσεις. Επιπλέον, τα επίπεδα συγκέντρωσης, όπως η μέγιστη συγκέντρωση ή η μέση συγκέντρωση, χρησιμοποιούνται για τη μείωση των χωρικών διαστάσεων των χαρτών χαρακτηριστικών, καθιστώντας το μοντέλο πιο αποδοτικό υπολογιστικά και λιγότερο επιρρεπές σε υπερπροσαρμογή.
Ένα πρακτικό παράδειγμα ενός συνελικτικού νευρωνικού δικτύου για την αναγνώριση εικόνας είναι η περίφημη αρχιτεκτονική LeNet-5, σχεδιασμένη για χειρόγραφη αναγνώριση ψηφίων. Το LeNet-5 αποτελείται από πολλαπλά επίπεδα συνέλιξης και συγκέντρωσης, ακολουθούμενα από πλήρως συνδεδεμένα στρώματα. Τα συνελικτικά στρώματα εξάγουν χαρακτηριστικά από τις εικόνες εισόδου, ενώ τα πλήρως συνδεδεμένα στρώματα εκτελούν την τελική ταξινόμηση.
Για να επεξηγήσετε τη λειτουργία συνέλιξης στο πλαίσιο του LeNet-5, εξετάστε το πρώτο συνελικτικό επίπεδο, το οποίο παίρνει μια εικόνα εισόδου 32×32 και εφαρμόζει έξι πυρήνες 5×5 με διασκελισμό 1 και χωρίς γέμιση. Οι χάρτες χαρακτηριστικών εξόδου έχουν διαστάσεις 28×28, που υπολογίζονται ως εξής:
[ κείμενο{Πλάτος εξόδου} = αριστερός όροφος frac{32 – 5 + 2 cdot 0}{1} δεξιός όροφος + 1 = 28 ] [ κείμενο{Ύψος εξόδου} = αριστερός όροφος frac{32 – 5 + 2 cdot 0}{1} δεξιός όροφος + 1 = 28 ]Καθένας από τους έξι πυρήνες παράγει έναν ξεχωριστό χάρτη χαρακτηριστικών 28×28, καταγράφοντας διαφορετικές πτυχές της εικόνας εισόδου. Αυτοί οι χάρτες χαρακτηριστικών στη συνέχεια περνούν μέσω μιας συνάρτησης ενεργοποίησης ReLU και ενός στρώματος συγκέντρωσης 2×2 μέγιστο με βήμα 2, με αποτέλεσμα χάρτες χαρακτηριστικών 14×14.
Τα επόμενα επίπεδα στο LeNet-5 συνεχίζουν να εφαρμόζουν λειτουργίες συνέλιξης και συγκέντρωσης, μειώνοντας προοδευτικά τις χωρικές διαστάσεις ενώ αυξάνουν το βάθος των χαρτών χαρακτηριστικών. Τα τελικά πλήρως συνδεδεμένα στρώματα εκτελούν την ταξινόμηση με βάση τα εξαγόμενα χαρακτηριστικά, βγάζοντας την προβλεπόμενη κλάση ψηφίων.
Η λειτουργία συνέλιξης είναι ο ακρογωνιαίος λίθος των συνελικτικών νευρωνικών δικτύων, που επιτρέπει την εξαγωγή σημαντικών χαρακτηριστικών από εικόνες. Η μαθηματική διατύπωση της λειτουργίας συνέλιξης περιλαμβάνει την ολίσθηση ενός πυρήνα πάνω από την εικόνα εισόδου, την εκτέλεση πολλαπλασιασμού βάσει στοιχείων και την άθροιση των αποτελεσμάτων. Πρόσθετες έννοιες όπως η επένδυση και ο βηματισμός παίζουν σημαντικό ρόλο στον έλεγχο των χωρικών διαστάσεων του χάρτη χαρακτηριστικών εξόδου. Τα συνελικτικά επίπεδα, σε συνδυασμό με τις λειτουργίες ενεργοποίησης και τα επίπεδα συγκέντρωσης, αποτελούν τα δομικά στοιχεία ισχυρών μοντέλων αναγνώρισης εικόνας όπως το LeNet-5, ικανά να αναγνωρίζουν πολύπλοκα μοτίβα και αντικείμενα σε οπτικά δεδομένα.
Άλλες πρόσφατες ερωτήσεις και απαντήσεις σχετικά με Προηγμένο όραμα υπολογιστή:
- Ποιος είναι ο τύπος για μια συνάρτηση ενεργοποίησης όπως η Διορθωμένη Γραμμική Μονάδα για να εισάγει τη μη γραμμικότητα στο μοντέλο;
- Ποιος είναι ο μαθηματικός τύπος για τη συνάρτηση απώλειας στα νευρωνικά δίκτυα συνέλιξης;
- Ποια είναι η εξίσωση για τη μέγιστη συγκέντρωση;
- Ποια είναι τα πλεονεκτήματα και οι προκλήσεις της χρήσης τρισδιάστατων συνελίξεων για την αναγνώριση ενεργειών σε βίντεο και πώς συμβάλλει το σύνολο δεδομένων Kinetics σε αυτό το πεδίο έρευνας;
- Στο πλαίσιο της εκτίμησης οπτικής ροής, πώς το FlowNet χρησιμοποιεί μια αρχιτεκτονική κωδικοποιητή-αποκωδικοποιητή για την επεξεργασία ζευγών εικόνων και τι ρόλο παίζει το σύνολο δεδομένων Flying Chairs στην εκπαίδευση αυτού του μοντέλου;
- Πώς αξιοποιεί η αρχιτεκτονική U-NET τις συνδέσεις για να βελτιώσει την ακρίβεια και τη λεπτομέρεια των εξόδων σημασιολογικής τμηματοποίησης και γιατί αυτές οι συνδέσεις είναι σημαντικές για την backpropagation;
- Ποιες είναι οι βασικές διαφορές μεταξύ ανιχνευτών δύο σταδίων όπως το Faster R-CNN και ανιχνευτών ενός σταδίου όπως το RetinaNet όσον αφορά την αποτελεσματικότητα της εκπαίδευσης και τον χειρισμό μη διαφοροποιήσιμων εξαρτημάτων;
- Πώς η έννοια της Διασταύρωσης πάνω από την Ένωση (IoU) βελτιώνει την αξιολόγηση των μοντέλων ανίχνευσης αντικειμένων σε σύγκριση με τη χρήση τετραγωνικής απώλειας;
- Πώς οι υπολειπόμενες συνδέσεις στις αρχιτεκτονικές ResNet διευκολύνουν την εκπαίδευση πολύ βαθιάς νευρωνικών δικτύων και τι αντίκτυπο είχε αυτό στην απόδοση των μοντέλων αναγνώρισης εικόνας;
- Ποιες ήταν οι σημαντικότερες καινοτομίες που εισήγαγε η AlexNet το 2012 που προώθησαν σημαντικά τον τομέα των συνελικτικών νευρωνικών δικτύων και της αναγνώρισης εικόνων;
Δείτε περισσότερες ερωτήσεις και απαντήσεις στο Advanced computer vision