Để rút gọn các biểu thức \( M \), \( N \), và \( P \), ta sẽ làm từng bước một. Dưới đây là chi tiết cho từng biểu thức:

### 1. Rút gọn biểu thức \( M = \frac{(1 + \cos a)}{(1 - \cos a)} \tan^2 \frac{a}{2} - \cos^2 a \)

Ta biết rằng:
\[
\tan^2 \frac{a}{2} = \frac{1 - \cos a}{1 + \cos a}
\]

Thay vào biểu thức \( M \):
\[
M = \frac{(1 + \cos a)}{(1 - \cos a)} \cdot \frac{1 - \cos a}{1 + \cos a} - \cos^2 a
\]

Biểu thức trở thành:
\[
M = \frac{(1 + \cos a)(1 - \cos a)}{(1 - \cos a)(1 + \cos a)} - \cos^2 a = 1 - \cos^2 a
\]

Dùng công thức \( 1 - \cos^2 a = \sin^2 a \), ta có:
\[
M = \sin^2 a
\]

### 2. Rút gọn biểu thức \( N = \cos 4a - \sin 4a \cot 2a \)

Biểu thức \( \cot 2a \) được viết lại như sau:
\[
\cot 2a = \frac{\cos 2a}{\sin 2a}
\]

Thay vào biểu thức \( N \):
\[
N = \cos 4a - \sin 4a \cdot \frac{\cos 2a}{\sin 2a}
\]

Đưa tất cả về cùng mẫu:
\[
N = \frac{\cos 4a \sin 2a - \sin 4a \cos 2a}{\sin 2a}
\]

Sử dụng công thức sin cho hiệu:
\[
\sin(A - B) = \sin A \cos B - \cos A \sin B
\]
Với \( A = 4a \) và \( B = 2a \), ta có:
\[
N = \frac{\sin(4a - 2a)}{\sin 2a} = \frac{\sin 2a}{\sin 2a} = 1
\]

### 3. Rút gọn biểu thức \( P = \frac{\cot a + \tan a}{1 + \tan^2 a \tan a} \)

Sử dụng các định nghĩa:
\[
\cot a = \frac{\cos a}{\sin a}, \quad \tan a = \frac{\sin a}{\cos a}
\]
Và công thức \( 1 + \tan^2 a = \sec^2 a \).

Thay vào biểu thức \( P \):
\[
P = \frac{\frac{\cos a}{\sin a} + \frac{\sin a}{\cos a}}{1 + \tan^2 a \tan a} = \frac{\frac{\cos^2 a + \sin^2 a}{\sin a \cos a}}{1 + \tan^2 a \cdot \frac{\sin a}{\cos a}}
\]

Sử dụng \( \cos^2 a + \sin^2 a = 1 \):
\[
P = \frac{\frac{1}{\sin a \cos a}}{1 + \frac{\sin^3 a}{\cos^2 a}} = \frac{1}{\sin a \cos a} \cdot \frac{\cos^2 a}{\cos^2 a + \sin^3 a}
\]

Giản lược biểu thức:
\[
P = \frac{\cos^2 a}{\sin a \cos a(\cos^2 a + \sin^3 a)} = \frac{\cos a}{\sin a(\cos^2 a + \sin^3 a)}
\]

### Kết quả:
1. \( M = \sin^2 a \)
2. \( N = 1 \)
3. \( P = \frac{\cos a}{\sin a(\cos^2 a + \sin^3 a)} \)

Tùy thuộc vào yêu cầu cụ thể hơn về định dạng và độ rút gọn, các biểu thức có thể được điều chỉnh hơn nữa.