Άσκηση 1: Μια πηγή μπορεί να παράγει δύο σύμβολα, x1 και x2. Τα σύμβολα αυτά μεταδίδονται μέσα από ένα κανάλι το οποίο αντιστοιχίζει το x1 με πιθανότητα 1/2 στο y1, το x1 με πιθανότητα 1/2 στο y2 και τέλος το x2 στο σύμβολο εξόδου y3 με πιθανότητα 1. Υπολογίζουμε τη χωρητικότητα του καναλιού αυτού μέσω της μεγιστοποίησης της αμοιβαίας πληροφορίας ως προς όλες τις κατανομές πιθανοτήτων για τα σύμβολα εισόδου. Η αμοιβαία πληροφορία υπολογίζεται χρησιμοποιώντας την εντροπία της πηγής και την υπό συνθήκη εντροπία της εισόδου για δοσμένη έξοδο. Άσκηση 2: Μας δίνεται μια από κοινού συνάρτηση πυκνότητας πιθανότητας δύο τυχαίων μεταβλητών X και Y, η οποία εξαρτάται από μια άγνωστη παράμετρο K. Χρησιμοποιώντας την ιδιότητα πως το ορισμένο ολοκλήρωμα μιας συνάρτησης πυκνότητας πιθανότητας σε όλο το πεδίο ορισμού της θα πρέπει να είναι μονάδα, υπολογίζουμε την τιμή της παραμέτρου K. Άσκηση 3: Πρέπει να δείξουμε πως η τυχαία μεταβλητή X είναι κανονική. Για να υπολογίσουμε την συνάρτηση πυκνότητας πιθανότητας της τυχαίας μεταβλητής X γνωρίζοντας την από κοινού συνάρτηση πυκνότητας πιθανότητας των X και Y, υπολογίζουμε το ορισμένο ολοκλήρωμα της από κοινού pdf πάνω στο πεδίο ορισμού της Y. Υπολογίζοντας την έκφραση που προκύπτει, αναγνωρίζουμε πως έχει τη μορφή μιας κανονικής pdf με μέση τιμή 0 και διασπορά 1. Άσκηση 4: Πρέπει να εξετάσουμε αν οι X και Y είναι ανεξάρτητες. Θα εξετάσουμε αν η από κοινού pdf είναι ίση με το γινόμενο των επιμέρους pdf. Εύκολα παρατηρούμε πως όταν οι τυχαίες μεταβλητές X και Y έχουν αντίθετα πρόσημα, τότε η απο κοινού pdf είναι μηδέν. Όμως, το γινόμενο των επιμέρους pdf δεν είναι μηδέν στις περιοχές αυτές. Επομένως οι τυχαίες μεταβλητές δεν είναι ανεξάρτητες.

2014-11-10 1001