CHƯƠNG 1: GIỚI THIỆU
1. Mục tiêu
2. Đối tượng nghiên cứu
3. Mô hình lý thuyết thông tin theo quan điểm Shannon
4. Lượng tin biết và chưa biết
5. Ví dụ về lượng tin biết và chưa biết
6. Định lý cơ sở của kỹ thuật truyền tin
7. Mô tả trạng thái truyền tin có nhiễu
8. Minh họa kỹ thuật giảm nhiễu
9. Chi phí phải trả cho kỹ thuật giảm nhiễu
10. Khái niệm về dung lượng kênh truyền
11. Vấn đề sinh mã
12. Vấn đề giải mã
CHƯƠNG 2: ĐỘ ĐO LƯỢNG TIN
BÀI 2.1: ENTROPY
1. Mục tiêu
2. Ví dụ về entropy
3. Nhận xét về độ đo lượng tin
4. Khái niệm entropy
5. Entropy của một sự kiện
6. Entropy của một phân phối
7. Định lý dạng giải tích của Entropy
8. Ví dụ minh họa
9. Bài toán về cây tìm kiếm nhị phân-Đặt vấn đề
10. Bài toán về cây tìm kiếm nhị phân – Diễn giải
BÀI 2.2: CÁC TÍNH CHẤT CỦA ENTROPY
1. Mục tiêu
2. Các tính chất cơ bản của Entropy
3. Minh họa tính chất 1 và 2
4. Minh họa tính chất 3 và 4
5. Định lý cực đại của entropy
6. Chứng minh định lý cực đại của Entropy
BÀI 2.3: ENTROPY CỦA NHIỀU BIẾN
1. Mục tiêu
2. Định nghĩa Entropy của nhiều biến
3. Ví dụ Entropy của nhiều biến
4. Định nghĩa Entropy có điều kiện
5. Ví dụ Entropy có điều kiện
6. Quan hệ giữa H(X,Y) với H(X) và H(Y) khi X, Y độc lập
7. Quan hệ giữa H(X,Y) với H(X) và H(Y) khi X, Y tương quan
BÀI 2.4: MINH HỌA CÁC ENTROPY
1. Mục tiêu
2. Yêu cầu của bài toán
3. Xác định các phân phối ngẫu nhiên của bài toán
4. Minh họa Entropy H(X), H(Y) và H(X,Y
5. Minh họa Entropy H(X/Y) và H(Y/X
6. Minh họa quan hệ giữa các Entropy
BAI 2.5: ĐO LƯỢNG TIN (MESURE OF INFORMATION
1. Mục tiêu
2. Đặt vấn đề bài toán
3. Xác định các phân phối của bài toán
4. Nhận xét dựa theo entropy
5. Định nghĩa lượng tin
CHƯƠNG 3: SINH MÃ TÁCH ĐƯỢC (Decypherable Coding
BÀI 3.1: KHÁI NIỆM VỀ MÃ TÁCH ĐƯỢC
1. Mục tiêu
2. Đặt vấn đề bài toán sinh mã
3. Khái niệm về bảng mã không tách được
4. Bảng mã tách được
5. Khái niệm bảng mã tức thời
6. Giải thuật kiểm tra tính tách được của bảng mã
7. Bài toán 1- yêu cầu
8. Bài toán 1 – Áp dụng giải thuật
9. Bài toán 2
BÀI 3.2: QUAN HỆ GIỮA MÃ TÁCH ĐƯỢC VÀ ĐỘ DÀI MÃ
1. Mục tiêu
2. Định lý Kraftn(1949
3. Định nghĩa cây bậc D cỡ k
4. Vấn đề sinh mã cho cây bậc D cỡ k
5. Chứng minh định lý Kraft (Điều kiện cần
6. Chứng minh định lý Kraft (Điều kiện đủ
7. Ví dụ minh họa định lý Kraft
BÀI 3.3: TÍNH TỐI ƯU CỦA ĐỘ DÀI MÃ
1. Mục tiêu
2. Định lý Shannon (1948
3. Bảng mã tối ưu tuyệt đối
4. Bảng mã tối ưu tương đối
5. Điều kiện nhận biết một bảng mã tối ưu
6. Định lý Huffman
7. Phương pháp sinh mã Huffman
8. Minh họa phương pháp sinh mã Huffman
9. Nhận xét tính tối ưu của bảng mã Huffman
CHƯƠNG 4: KÊNH TRUYỀN
BÀI 4.1: KÊNH TRUYỀN RỜI RẠC KHÔNG NHỚ
1. Mục tiêu
2. Giới thiệu
3. Mô hình vật lý
4. Mô hình toán học
5. Ví dụ xác định phân phối đầu nhận
6. Lượng tin trên kênh truyền
7. Định nghĩa dung lượng kênh truyền
BAI 4.2: CÁC DẠNG KÊNH TRUYỀN
1. Mục tiêu
2. Hiểu định lý về dung lượng kênh truyền,Kênh truyền không mất tin
3. Kênh truyền xác định
4. Kênh truyền không nhiễu
5. Kênh truyền không sử dụng được
6. Kênh truyền đối xứng
7. Xây dựng công thức tính dung lượng kênh truyền đối xứng
8. Định lý về dung lượng kênh truyền
BÀI 4.3: LƯỢC ĐỒ GIẢI MÃ
1. Mục tiêu
2. Đặt vấn đề bài toán giải mã
3. Ví dụ bài toán giải mã
4. Các khái niệm cơ bản của kỹ thuật truyền tin
5. Ví dụ minh họa các khái niệm cơ bản
6. Các dạng sai số cơ bản
7. Phương pháp xây dựng lượt đồ giải mã tối ưu
8. Minh họa xây dựng lược đồ giải mã tối ưu
9. Minh họa cách tính các sai số
CHƯƠNG 5: SỬA LỖI
BÀI 5.1: NGUYÊN LÝ KHOẢNG CÁCH NHỎ NHẤT HAMMING
1. Mục tiêu
2. Khoảng cách Hamming
3. Kênh truyền đối xứng nhị phân và lược đồ giải mã tối ưu
4. Ví dụ kênh truyền đối xứng nhị phân
5. Quan hệ giữa xác suất giải mã và khoảng cách Hamming
6. Nguyên lý Hamming
BÀI 5.2: BỔ ĐỀ VỀ TỰ SỬA LỖI VÀ CẬN HAMMING
1. Mục tiêu
2. Bổ đề về tự sửa lỗi
3. Chứng minh và minh họa bổ đề
4. Cận Hamming
5. Phân các dạng lỗi
BÀI 5.3: MÃ KIỂM TRA CHẴN LẺ
1. Mục tiêu
2. Bộ mã kiểm tra chẵn lẻ
3. Phương pháp kiểm tra chẵn lẻ
4. Phương pháp sinh mã kiểm tra chẵn lẻ
5. Ví dụ sinh mã kiểm tra chẵn lẻ
6. Định lý quan hệ giữa độ dài mã n, số bit kiểm tra m và số lỗi tự sửa e
7. Ví dụ tìm m nhỏ nhất từ n và e
8. Ví dụ tìm e lớn nhất từ m và n
BÀI 5.4: NHÓM CỘNG TÍNH VÀ BỘ TỪ MÃ CHẴN LẺ
1. Mục tiêu
2. Khái niệm nhóm cộng tính
3. Tính chất của bộ mã chẵn lẻ
4. Ví dụ minh họa
5. Phương pháp sinh mã kiểm tra chẵn lẻ nhanh
6. Ví dụ sinh mã kiểm tra chẵn lẻ nhanh
7. Bài tập
BÀI 5.5: LƯỢC ĐỒ SỬA LỖI TỐI ƯU
1. Mục tiêu
2. Đặt vấn đề
3. Định nghĩa Hiệp hợp
4. Lược đồ sửa lỗi theo các hiệp hợp
5. Lược đồ sửa lỗi thong qua bộ lỗi
6. Ví dụ minh họa lược đồ sửa lỗi 1 bit
7. Ví dụ minh họa lược đồ sửa lỗi 2 bit
8. Ví dụ minh họa lược đồ sửa lỗi 3 bit
9. Xác suất truyền đúng
BÀI 5.6: MÃ HAMMING
1. Mục tiêu
2. Mã Hammin
3. Tính chất
4. Ví dụ minh họa
BÀI 5.7: THANH GHI LÙI TỪNG BƯỚC
1. Mục tiêu
2. Đặt vấn đề
3. Biểu diễn vật lý của thanh ghi
4. Biểu diễn toán học của thanh ghi
5. Ví dụ thanh ghi lui từng bước
6. Chu kỳ của thanh ghi
7. Ví dụ tìm chu kỳ của thanh ghi
BÀI 5.8: MÃ XOAY VÒNG
1. Mục tiêu
2. Ma trận kiểm tra chẵn lẻ mã xoay vòng
3. Định nghĩa mã xoay vòng
4. Phương pháp sinh nhanh bộ mã xoay vòng
5. Ví dụ sinh nhanh bộ mã xoay vòng
BÀI 5.9: ĐA THỨC ĐẶC TRƯNG CỦA THANH GHI
1. Mục tiêu
2. Định nghĩa đa thức đặc trưng của thanh ghi
3. Quan hệ giữa chu kỳ n, đa thức đăc trưng và đa thức (xn + 1
4. Thủ tục sinh thanh ghi lùi từng bước
5. Ví dụ minh họa