Ψηφιακές Τηλεπικοινωνίες, Τμήμα Τμήμα Mηχανικών Η/Υ & Πληροφορικής
Ο υπολογισμός της χωρητικότητας ενός διακριτού καναλιού χωρίς μνήμη απαιτεί την μεγιστοποίηση μιας συνάρτησης (συνήθως) πολλών μεταβλητών, και μάλιστα υπό περιορισμούς. Για το λόγο αυτό, σπάνια μπορούμε να καταλήξουμε σε κλειστές εκφράσεις που δίνουν τη χωρητικότητα διακριτών καναλιών. Ως ένα παράδειγμα, κλειστή μορφή μπορούμε να βρούμε για τη χωρητικότητα του δυαδικού συμμετρικού καναλιού χωρίς μνήμη. Σε κάθε περίπτωση, το δεύτερο θεώρημα του Shannon μας δίνει τη συνθήκη για μετάδοση χωρίς σφάλματα από ένα κανάλι. Για την περίπτωση ενός συνεχούς ζωνοπεριορισμένου καναλιού που εισάγει λευκό προσθετικό θόρυβο κανονικής κατανομής (Gauss), το θεώρημα Shannon Hartley μας δίνει με κλειστό τύπο τη χωρητικότητά του. Τον τύπο αυτό μπορούμε να τον εκφράσουμε και συναρτήσει της πυκνότητας φάσματος ισχύος του θορύβου. Η χωρητικότητα αυτή αποτελεί και ένα άνω φράγμα της χωρητικότητας για το διακριτό κανάλι που περιλαμβάνει το εξεταζόμενο συνεχές κανάλι ως μέρος του. Ακολουθεί ένα παράδειγμα το οποίο παρουσιάζει την ανταλλαγή (trade off) ανάμεσα στην ισχύ μετάδοσης και το εύρος ζώνης, με μια ενδιαφέρουσα σύγκριση ανάμεσα στις αναλογικές και τις ψηφιακές επικοινωνίες.Ψηφιακές Τηλεπικοινωνίες, Τμήμα Τμήμα Mηχανικών Η/Υ & Πληροφορικής
Στην διάλεξη αυτή περιγράφεται το αντικείμενο των ψηφιακών τηλεπικοινωνιών. Παρουσιάζονται τα είδη τους με βάση διάφορες διακρίσείς όπως το είδος της πληροφορίας που θέλουμε να αποστείλουμε, οι σχεδιαστικές προκλήσεις, η αναπαράσταση της πληροφορίας και τα είδη των σημάτων που χρησιμοποιούνται (αναλογικά, διακριτά και ψηφιακά σήματα). Στην συνέχεια, περιγράφεται ένα γενικό μεοντέλο ενός τηλεπικοινωνιακού συστήματος (Πηγή, Πομπός, Κανάλι, Δέκτης, Έξοδος). Αναφέρονται κάποια κριτήρια απόδοσης για αναλογικά (πιστότητα) και ψηφιακά (πιθανότητα σφάλματος) συστήματα επικοινωνιών και ποιες είναι οι διαφορές τους. Περιγράφονται οι θεμελιώδεις περιορισμοί στον ρυθμό μετάδοσης δεδομένων και παρουσιάζεται μια βασική σχέση για την χωρητικότητα. Η διάλεξη ολοκληρώνεται με την περιγραφή της βασικής δομής ενός ψηφιακού τηλεπικοινωνιακού συστήματος (Πηγή, Κωδικοποιητές Πηγής και Καναλιού, Διαφορφωτής κ.λπ.).Ψηφιακές Τηλεπικοινωνίες, Τμήμα Τμήμα Mηχανικών Η/Υ & Πληροφορικής
Αρχικά, στην διάλεξη αυτή, πραγματοποιείται μια σύνδεση με σχετικά μαθήματα του προγράμματος σπουδών του τμήματος Μηχανικών Η/Υ και Πληροφορικής αλλά και πιο συγκεκριμένα του Εργ. Επεξεργασίας Σημάτων και Τηλεπικοινωνιών. Στην συνέχεια, παρουσιάζεται μια ιστορική επισκόπηση από την γέννηση των τηλεπικοινωνιών έως και σήμερα.Η διάλεξη ολοκληρώνεται με την περιγραφή των Φρυκτωριών (αρχαίο ψηφιακό σύστημα επικοινωνιών).Ψηφιακές Τηλεπικοινωνίες, Τμήμα Τμήμα Mηχανικών Η/Υ & Πληροφορικής
Στην διάλεξη αυτή, περιγράφανται με μεγαλύτερη λεπτομέρεια τα βασικά τμήματα ενός ψηφιακού τηλεπικοινωνιακού συστήματος. Περιγράφεται η έννοια της πηγής και δίνονται κάποια παραδείγματα. Μετά, περιγράφεται ο κωδικοποιητής πηγής (αποδοτική δυαδική αναπαράσταση) και τα βασικά του χαρακτηριστικά καθώς και ο κωδικοποιητής καναλιού (εισαγωγή πλεονασμού) με τα βασικά του χαρακτηριστικά. Τέλος, δίνοται πληροφορίες για τα φίλτρα πομπού/δέκτη και περιγράφεται η έννοια του διαμορφωτή.Ψηφιακές Τηλεπικοινωνίες, Τμήμα Τμήμα Mηχανικών Η/Υ & Πληροφορικής
Συνεχίζεται η περιγραφή του διαμορφωτή (από την προηγούμενη διάλεξη) στην περίπτωση των ψηφιακών συστημάτων. Περιγράφονται βασικές κατηγορίες ψηφιακής διαμόρφωσης (αλλαγή πλάτους, αλλαγή συχνότητας, αλλαγή φάσης). Ακολούθως, παρουσιάζεται ένα πιο αναλυτικό μοντέλο ενός ψηφιακού συστήματος (όπου εισάγονται οι έννοιες του ισοσταθμιστή και της λήψης αποφάσεων). Περιγράφεται επίσης η έννοια του καναλιού και τα βασικά προβλήματα που συνδέονται με αυτό (για την μετάδοση πληροφορίας μέσω αυτού) όπως το περιορισμένο εύρος ζώνης, τις παραμορφώσεις πλάτους και φάσης, τον θόρυβο (το παράδειγμα του λευκού θορύβου), την πολύδρομη μετάδοση και την χρονική μεταβολή.Ψηφιακές Τηλεπικοινωνίες, Τμήμα Τμήμα Mηχανικών Η/Υ & Πληροφορικής
Στην παρούσα διάλεξη περιγράφεται η έννοια του καναλιού. Παρουσιάζονται τα βασικά προβλήματα που εισάγει ένα κανάλι όπως το περιορισμένο εύρος ζώνης, οι παραμορφώσεις πλάτους και φάσης, ο θόρυβος, η πολύδρομη μετάδοση και η χρονική μεταβολή. Εν συνεχεία, γίνεται αναφορά στους τύπους καναλιών όπως τα ενσύρματα, π.χ. συνεστραμμένου ζεύγους και ομοαξονικά, (με αναφορά στην τεχνολογία DSL και στο φαινόμενο crosstalk), οι κυματοδηγοί και οι οπτικές ίνες (χαρακτηριστικά απόσβεσης). Παρουσιάζονται επίσης τα εύρη ζώνης στις οποίες λειτουργούν τα ενσύρματα κανάλια. Επίσης, περιγράφονται τα ασύρματα κανάλια, τα υποβρύχια ακουστικά κανάλια (και το πρόβλημα με το ηλεκτρομαγνητικό φάσμα), τα κανάλια αποθήκευσης και άλλα όπως τα power lines.Ψηφιακές Τηλεπικοινωνίες, Τμήμα Τμήμα Mηχανικών Η/Υ & Πληροφορικής
Σε συνέχεια της προηγούμενης διάλεξης, παρουσιάζονται τα βασικά εύρη ζώνης των ασύρματων καναλιών και περιγράφεται μια βασική σχέση για την λαμβανόμενη ισχύ καθώς και οι βασικοί παράμετροι στους οποίους βασίζεται (π.χ. το κέρδος κεραίας εκπομπής και λήψης). Ακολούθως, παρουσιάζονται διάφοροι μηχανισμοί διάδοσης ενός κύματος (π.χ. κυματοδήγηση μεταξύ εδάφους-ιονόσφαιρας, εδαφικό κύμα και κύμα χώρου) καθώς και μηχανισμοί διάδοσης που χρησιμοποιούνται στις κινητές επικοινωνίες (π.χ. ανάκλαση, περίθλαση, σκέδαση). Η διάλεξη ολοκληρώνεται με την περιγραφή των κύριων παραγόντων υποβάθμισης που εμφανίζονται κατά την ασύρματη διάδοση (η περίπτωση της εξασθένησης λόγω βροχόπτωσης).Ψηφιακές Τηλεπικοινωνίες, Τμήμα Τμήμα Mηχανικών Η/Υ & Πληροφορικής
Η διάλεξη ξεκινάει με κάποια εισαγωγικά στοιχεία γύρω από τα μαθηματικά μοντέλα καναλιών (π.χ. πως προέκυψαν). Αρχικά, παρουσιάζεται το μοντέλο προσθετικού θορύβου όπου υιοθετείται ο λευκός Gaussian θόρυβος και παρουσιάζονται οι βασικές ιδιότητές του, δυο κύριοι λόγοι χρήσης του και κάποιες επιπλέον εκδοχές του. Στην συνέχεια, περιγράφεται το μοντέλο γραμμικού φίλτρου. Δίνονται κάποιες πληροφορίες για τα μη γραμμικά μοντέλα (το παράδειγμα των δορυφορικών επικοινωνιών). Εν συνεχεία, παρουσιάζεται το μοντέλο χρονικά μεταβαλλόμενου γραμμικού φίλτρου. Η διάλεξη ολοκληρώνεται με την περιγραφή του παραμετρικού μοντέλου.Ψηφιακές Τηλεπικοινωνίες, Τμήμα Τμήμα Mηχανικών Η/Υ & Πληροφορικής
Περιγράφεται η ύπαρξη στοχαστικών σημάτων στις ψηφιακές τηλεπικοινώνιες και συνδέεται η ύπαρξή τους με την έννοια του θορύβου. Συζητούνται οι έννοιες των ντετερμινιστικών και στοχαστικών ποσοτήτων. Περιγράφεται η έννοια των τυχαίων μεταβλητών και των στοχαστικών διαδικασιών. Χρησιμοποιείται το παράδειγμα του συνημιτόνου και της θερμοκρασίας για καλύτερη κατανόηση. Η στοχαστική διαδικασία ως σύνολο συναρτήσεων και ως μια ακολουθία τυχαίων μεταβλητών. Περιγράφεται τι πληροφορία χρειάζεται για την πλήρη περιγραφή μιας στοχαστικής διαδικασίας (η απο-κοινού συνάρτηση πυκνότητας πιθανότητας).Ψηφιακές Τηλεπικοινωνίες, Τμήμα Τμήμα Mηχανικών Η/Υ & Πληροφορικής
Στην παρούσα διάλεξη ορίζονται η στασιμότητα τάξης Μ, και η ασθενής στασιμότητα. Για την δεύτερη περίπτωση, παρουσιάζονται επίσης κάποιες βασικές ιδιότητες, συγκεκριμένα, η άρτια συμμετρία, η μέγιστη τιμή και η περιοδικότητα. Επίσης, ορίζονται οι εργοδικές τυχαίες διαδικασίες καθώς και η εργοδικότητα πρώτης και δεύτερης τάξης. Τέλος, παρουσιάζεται το φιλτράρισμα μιας τυχαίας διαδικασίας και η σχέση εισόδου-εξόδου που προκύπτει όταν το φίλτρο είναι γραμμικό και χρονικά αμετάβλητο ως προς την μέση τιμή και την συνάρτηση αυτοσυσχέτισης.Ψηφιακές Τηλεπικοινωνίες, Τμήμα Τμήμα Mηχανικών Η/Υ & Πληροφορικής
Στην παρούσα διάλεξη ορίζεται η έννοια της τυχαίας διαδικασίας είτε ως σύνολο συναρτήσεων είτε ως μια ακολουθία τυχαίων μεταβλητών. Ορίζονται επίσης η μέση τιμή και διασπορά καθώς και η συνάρτηση αυτοσυσχέτισης. Τέλος, περιγράφεται η έννοια της ισχυρής στασιμότητας.Ψηφιακές Τηλεπικοινωνίες, Τμήμα Τμήμα Mηχανικών Η/Υ & Πληροφορικής
Στην παρούσα διάλεξη καταρχήν υπενθυμίζονται κάποια από τα είδη στοχαστικών διαδικασιών που παρουσιάστηκαν στο προηγούμενο μάθημα με έμφαση στις εργοδικές διαδικασίες. Στην συνέχεια, περιγράφεται ο πίνακας αυτοσυσχετίσεων. Ορίζεται η πυκνότητα φάσματος ισχύος (και γίνεται μια αντιστοίχιση με τα ντετερμινιστικά σήματα και το πεδίο των συχνοτήτων). Περιγράφεται η εκτίμηση της πυκνότητας φάσματος ισχύος στις περιπτώσεις των ασθενώς στάσιμων και των εργοδικών διαδικασιών (αναφορά στην έννοια ενός αμερόληπτου εκτιμητή). Τέλος, συνδέονται οι πυκνότητες φάσματος ισχύος των στοχαστικών διαδικασιών εισόδου/εξόδου ενός γραμμικού, χρονικά αμετάβλητου φίλτρου.Ψηφιακές Τηλεπικοινωνίες, Τμήμα Τμήμα Mηχανικών Η/Υ & Πληροφορικής
Στην παρούσα διάλεξη αρχικά (και σε συνέχεια από την προηγούμενη διάλεξη) περιγράφεται η έννοια της ετεροσυσχέτισης δυο στοχαστικών διαδικασιών ενώ παρουσιάζεται περαιτέρω ο πίνακας αυτοσυσχετίσεων. Εν συνεχεία, η διάλεξη εστιάζει στην θεωρία πληροφορίας και τα θέματα που θα παρουσιαστούν (όπως η αποδοτική κωδικοποίηση πηγής και καναλιού). Περιγράφονται η κωδικοποίηση πηγής και τα είδη πηγών (θέματα δειγματοληψίας) και ορίζεται η πηγή πληροφορίας με διακριτό αλφάβητο καθώς και το μέτρο πληροφορίας.Ψηφιακές Τηλεπικοινωνίες, Τμήμα Τμήμα Mηχανικών Η/Υ & Πληροφορικής
Η παρούσα διάλεξη ξεκινάει με μια μικρή ανασκόπηση της προηγούμενης διάλεξης. Εν συνεχεία, περιγράφεται η μονάδα μέτρησης της πληροφορίας. Ορίζεται η έννοια της διακριτής πηγής χωρίς μνήμη καθώς και η έννοια της εντροπίας της (μέση πληροφορία). Περιγράφεται το παράδειγμα της δυαδικής πηγής χωρίς μνήμη και η εντροπία της. Ορίζεται η πηγή διακριτού χρόνου, συνεχούς αλφαβήτου και η έννοια της διαφορικής εντροπίας. Παρουσιάζονται τα παραδείγματα πηγών με ομοιόμορφα κατανεμημένα σύμβολα σε ένα διάστημα καθώς και Gaussian κατανεμημένα σύμβολα). Η περίπτωση της πηγής με μνήμη και ο ρυθμός εντροπίας. Το πρόβλημα της κωδικοποίησης μιας πηγής με Μ σύμβολα και οι κώδικες μεταβλητού μήκους.Ψηφιακές Τηλεπικοινωνίες, Τμήμα Τμήμα Mηχανικών Η/Υ & Πληροφορικής
Παρουσιάζεται το θεώρημα κωδικοποίησης πηγής και εξηγείται τι σημαίνει η παραβίασή του. Περιγράφονται τα κύρια βήματα της απόδειξης του θεωρήματος. Ορίζονται οι έννοιες των τυπικών και μη τυπικών ακολουθιών. Η περίπτωση της ομοιόμορφης πηγής.Ψηφιακές Τηλεπικοινωνίες, Τμήμα Τμήμα Mηχανικών Η/Υ & Πληροφορικής
Γίνεται σύνδεση με την προηγούμενη διάλεξη και συγκεκριμένα το θεώρημα κωδικοποίησης πηγής. Στην συνέχεια, παρουσιάζονται οι προθεματικοί κώδικες και ο αλγόριθμος Huffman (μη απωλεστική κωδικοποίηση). Συγκεκριμένα, περιγράφονται τα βασικά χαρακτηριστικά των προθεματικών κωδίκων (όπως ότι είναι μεταβλητού μήκους) και η ιδιότητα της μοναδικής αποκωδικοποιησιμότητας ενώ παρουσιάζονται και κάποια παραδείγματα. Περιγράφεται επίσης η ανισότητα Kraft-McMillan και το διάστημα που κινείται το μέσο μήκος ενός προθεματικού κώδικα. Η έννοια της αποδοτικότητας κώδικα. Ορίζεται η ένοια της Ν-οστής τάξης επέκτασης μιας πηγής και η δυνατότητά της να προσεγγίζει το όριο συμπίεσης της αρχικής πηγής. Παρουσιάζονται τα βήματα του αλγορίθμου Huffman καθώς και ένα σχετικό παράδειγμα. Τέλος, παρουσιάζονται κάποια χαρακτηριστικά του αλγορίθμου.Ψηφιακές Τηλεπικοινωνίες, Τμήμα Τμήμα Mηχανικών Η/Υ & Πληροφορικής
Η διάλεξη ξεκινάει με μια αναφορά σε ένα μειονέκτημα του αλγορίθμου Huffman. Στην συνέχεια, παρουσιάζεται το πρόβλημα της κωδικοποίησης καναλιού και τα ερωτήματα που μπορεί να απαντήσει. Παρουσιάζεται ένα βασικό σύστημα επικοινωνίας και περιγράφονται τρόποι διάκρισης των καναλιών μετάδοσης. Ορίζονται τα διακριτά κανάλια χωρίς μνήμη και δίνεται ένα παράδειγμα. Περιγράφονται οι πιθανότητες μετάβασης, οι από κοινού πιθανότητες εισόδου/εξόδου, οι πιθανότητες σφάλματος και παρουσιάζεται ένα παράδειγμα κατανόησης των παραπάνω.Ψηφιακές Τηλεπικοινωνίες, Τμήμα Τμήμα Mηχανικών Η/Υ & Πληροφορικής
Άσκηση 1: Μια πηγή με τρία σύμβολα S1, S2 και S3 έχει αντίστοιχες πιθανότητες 0.4, 0.3 και 0.3. Για την πηγή αυτή υπολογίζουμε την εντροπία της. Στη συνέχεια θεωρούμε πως η πηγή αυτή παράγει σύμβολα με ρυθμό 1000 σύμβολα ανά δευτερόλεπτο, και θέλουμε να υπολογίσουμε το μέσο ρυθμό πληροφορίας στην έξοδο της πηγής. Άσκηση 2: Υπολογίζουμε την κωδικοποίηση Huffman για την πηγή της προηγούμενης άσκησης. Υπολογιζουμε επίσης το μέσο μήκος λέξης και την αποδοτικότητα της κωδικοποίησης. Άσκηση 3: Υπολογίζουμε την εντροπία της δεύτερης τάξης επέκτασης της πηγής. Ο ρυθμός συμβόλων της πηγής διαιρείται δια δύο. Υπολογίζουμε την κωδικοποίηση Huffman της επεκταμένης πηγής, καθώς και την αποδοτικότητα της κωωδικοποίησης.Ψηφιακές Τηλεπικοινωνίες, Τμήμα Τμήμα Mηχανικών Η/Υ & Πληροφορικής
Άσκηση 1: Υπολογίζουμε την εντροπία μιας πηγής (κάμερας), για την οποία γνωρίζουμε τις πιθανότητες τα σύμβολά της να βρίσκονται σε ένα πλήθος από διαστήματα τιμών, και εντός κάθε διαστήματος οι τιμές να είναι σοπίθανές. Στη συνέχεια υπολογίζουμε το ολικό πληροφοριακό περιεχόμενο μιας εικόνας, 500x400 εικονοστοιχείων. Στη συνέχεια, γνωρίζοντας πως η κάμερα παράγει 25 frames ανά δευτερόλεπτο, υπολογίζουμε το συνολικό πληροφοριακό περιεχόμενο. Άσκηση 2: Υπολογίζουμε την εντροπία μιας δυαδικής πηγής (κώδικας Morse), γνωρίζοντας μια σχέση για τις πιθανότητες της τελείας και της παύλας. Στη συνέχεια υπολογίζουμε το ρυθμό της πηγής σε σύμβολα ανά δευτερόλεπτο και έτσι υπολογίζουμε το ρυθμό παραγωγής πληροφορίας στην έξοδο της πηγής. Άσκηση 3: Υπολογίζουμε τη χωρήτικότητα ενός καναλιού με εύρος ζώνης 3000Hz και SNR 10 dB. Στη συνέχεια θεωρούμε μια πηγή με 128 ισοπίθανα σύμβολα, και υπολογίζουμε το μέγιστο ρυθμό (σε σύμβολα ανά δευτερόλεπτο) με τον οποίο μπορούμε να μεταδώσουμε πληροφορία μέσα από αυτό το κανάλι.Ψηφιακές Τηλεπικοινωνίες, Τμήμα Τμήμα Mηχανικών Η/Υ & Πληροφορικής
Άσκηση 1: Σε ένα δυαδικό συμμετρικό κανάλι εισέρχονται σύμβολα με ρυθμό 1000 σύμβολα ανά δευτερόλεπτο. Τα σύμβολα είναι ισοπίθανα. Για τις περιπτώσεις όπου η πιθανότητα σωστής μετάδοσης p ενός συμβόλου μέσα από το κανάλι, p=0.9, p=0.8 και p=0.6, υπολογίζουμε το ρυθμό μετάδοσης πληροφορίας μέσα από το κανάλι. Ο ζητούμενος ρυθμός δίνεται ως το γινόμενο της αμοιβαίας πληροφορίας με το ρυθμό της εισόδου σε σύμβολα ανά δευτερόλεπτο. Υπολογίζουμε την αμοιβαία πληροφορία μέσω της εντροπίας της πηγής και της υπό συνθήκη εντροπίας της εισόδου για δεδομένη έξοδο. Υπολογίζουμε τις από κοινού πιθανότητες εισόδου εξόδου μέσω του κανόνα του Bayes. Υπολογίζουμε τις υπό συνθήκη πιθανότητες χρησιμοποιώντας τον κανόνα της αλυσίδας. Άσκηση 2: Υπολογίζουμε τη χωρητικότητα ενός δυαδικού συμμετρικού καναλιού χωρίς μνήμη. Η χωρητικότητα δίνεται ως η μέγιστη τιμή της αμοιβαίας πληροφορίας ως προς όλες τις πιθανές κατανομές πιθανοτήτων των συμβόλων εισόδου. Η μεγιστοποίηση γίνεται θέτωντας την πρώτη παράγωγο της συνάρτησης την οποία μελετάμε ίση με το μηδέν.