Để giải bài toán này, trước hết ta cần hiểu rõ biểu thức $P$. Dựa trên cách trình bày của bạn, biểu thức có dạng:

$P = \frac{n^5 + n^4 + n^3 + n^2 + n + 1}{n^3 - 1} - \frac{n^5 + n^4 + n^3 + n^2 + n + 1}{n^2 - n - 1}$
(Lưu ý: Nếu đề bài của bạn có sai sót về ký hiệu phân số, vui lòng kiểm tra lại. Dưới đây là cách giải dựa trên cấu trúc phân thức đại số thông thường).

a) Rút gọn biểu thức $P$
Ta nhận thấy tử thức chung là $T = n^5 + n^4 + n^3 + n^2 + n + 1$.

Ta có thể nhóm tử thức như sau:

$T = (n^5 + n^4 + n^3) + (n^2 + n + 1) = n^3(n^2 + n + 1) + (n^2 + n + 1) = (n^3 + 1)(n^2 + n + 1)$

Mà $n^3 + 1 = (n + 1)(n^2 - n + 1)$.

Vậy $T = (n + 1)(n^2 - n + 1)(n^2 + n + 1)$.

Phân tích các mẫu thức:

$n^3 - 1 = (n - 1)(n^2 + n + 1)$
Mẫu thứ hai là $n^2 - n - 1$.
Khi đó biểu thức $P$ trở thành:

$P = \frac{(n+1)(n^2-n+1)(n^2+n+1)}{(n-1)(n^2+n+1)} - \frac{(n+1)(n^2-n+1)(n^2+n+1)}{n^2-n-1}$
Rút gọn phân thức thứ nhất:

$P = \frac{(n+1)(n^2-n+1)}{n-1} - \frac{(n+1)(n^2-n+1)(n^2+n+1)}{n^2-n-1}$
Đến đây, biểu thức không triệt tiêu thành đa thức đơn giản nếu mẫu thức thứ hai là $n^2-n-1$. Thông thường trong các bài tập loại này, mẫu thức thứ hai thường là $n^2-n+1$ để triệt tiêu.

Nếu mẫu thứ hai là $n^2 - n + 1$:

$P = (n+1) - (n+1)(n^2+n+1) = (n+1)(1 - n^2 - n - 1) = (n+1)(-n^2 - n) = -n(n+1)^2$
b) Tìm $n$ để $P$ là số nguyên tố
Một số nguyên tố phải là số dương ($> 1$).
Dựa trên kết quả rút gọn ở trên (giả sử $P$ ra dạng tích), ta sẽ xét các giá trị của $n$ để tích đó nhận giá trị là số nguyên tố (ví dụ: $2, 3, 5, 7, \dots$).