Θεωρία της Πληροφορίας

Εντροπία, σχετική εντροπία. Ο δεύτερος νόμος της θερμοδυναμικής. Ιδιότητα «ασυμπτωτικής ισοκατανομής». Εντροπία και στοχαστικές διαδικασίες. Συμπίεση δεδομένων. Βέλτιστοι Κώδικες, Κώδικας Huffman, Κώδικας Shannon-Fano-Elias. Αλγοριθμική πολυπλοκότητα Kolmogorov. Χωρητικότητα καναλιού μετάδοσης. Θεμελιώδες θεώρημα Shannon. Διαφορική εντροπία. Δίαυλος Gauss. Θεωρία πληροφορίας και προηγμένα θέματα στατιστικής. Μέγιστη Εντροπία. Κωδικοποίηση πηγής. Προσέγγιση με διαδικασίες Markov. Σώματα Galois. Συνάρτηση ρυθμού-απώλειας. Σήματα και θόρυβος. Κώδικες διόρθωσης σφαλμάτων. Κώδικες Hamming, Κώδικες Reed-Muller. Εφαρμογές Θεωρίας Πληροφορίας στη θεωρία επενδύσεων.