Để giải bài toán này, chúng ta có thể sử dụng phương pháp hoán vị có điều kiện. Đầu tiên, chúng ta sẽ tính số cách xếp 11 quyển sách mà các quyển sách cùng môn không được xếp cạnh nhau.

Gọi T(n) là số cách sắp xếp n quyển sách theo yêu cầu. Ta sẽ tính T(11).

Để tiếp cận bài toán này, chúng ta có thể sử dụng kỹ thuật "số hoán vị không có quy tắc", đồng thời loại bỏ các trường hợp mà các quyển sách cùng môn được sắp xếp cạnh nhau.

Trong trường hợp này, có thể chúng ta sẽ tính số hoán vị của tất cả các quyển sách trước, sau đó loại bỏ các trường hợp không hợp lệ.

Để tìm số hoán vị của tất cả các quyển sách, ta có 11! cách sắp xếp chúng.

Bây giờ, ta cần loại bỏ các trường hợp mà các quyển sách cùng môn được xếp cạnh nhau. Có tổng cộng 8! cách xếp 8 quyển sách toán và 5! cách xếp 5 quyển sách văn cùng môn.

Cuối cùng, ta cần loại bỏ cả các trường hợp mà các quyển sách tiếng Anh cùng môn được xếp cạnh nhau. Có 9! cách xếp 9 quyển sách tiếng Anh cùng môn.

Vậy, số cách xếp 11 quyển sách sao cho số quyển sách cùng môn không được xếp cạnh nhau là:

T(11)=11!−8!−5!−9!