Άσκηση 1: Σε ένα δυαδικό συμμετρικό κανάλι εισέρχονται σύμβολα με ρυθμό 1000 σύμβολα ανά δευτερόλεπτο. Τα σύμβολα είναι ισοπίθανα. Για τις περιπτώσεις όπου η πιθανότητα σωστής μετάδοσης p ενός συμβόλου μέσα από το κανάλι, p=0.9, p=0.8 και p=0.6, υπολογίζουμε το ρυθμό μετάδοσης πληροφορίας μέσα από το κανάλι. Ο ζητούμενος ρυθμός δίνεται ως το γινόμενο της αμοιβαίας πληροφορίας με το ρυθμό της εισόδου σε σύμβολα ανά δευτερόλεπτο. Υπολογίζουμε την αμοιβαία πληροφορία μέσω της εντροπίας της πηγής και της υπό συνθήκη εντροπίας της εισόδου για δεδομένη έξοδο. Υπολογίζουμε τις από κοινού πιθανότητες εισόδου εξόδου μέσω του κανόνα του Bayes. Υπολογίζουμε τις υπό συνθήκη πιθανότητες χρησιμοποιώντας τον κανόνα της αλυσίδας. Άσκηση 2: Υπολογίζουμε τη χωρητικότητα ενός δυαδικού συμμετρικού καναλιού χωρίς μνήμη. Η χωρητικότητα δίνεται ως η μέγιστη τιμή της αμοιβαίας πληροφορίας ως προς όλες τις πιθανές κατανομές πιθανοτήτων των συμβόλων εισόδου. Η μεγιστοποίηση γίνεται θέτωντας την πρώτη παράγωγο της συνάρτησης την οποία μελετάμε ίση με το μηδέν.

2014-11-10 1269