Để tính \(\cos(3a)\) khi \(\cos(2a) = \frac{3}{5}\) và \( \frac{3\pi}{4} < a < \pi \), ta có thể sử dụng các công thức lượng giác sau:

1. \(\cos(2a) = 2\cos^2(a) - 1\)
2. \(\cos(3a) = 4\cos^3(a) - 3\cos(a)\)

Bước đầu tiên là tìm \(\cos(a)\) từ \(\cos(2a)\).

Từ \(\cos(2a) = 2\cos^2(a) - 1\):

\[ \cos(2a) = \frac{3}{5} \]
\[ 2\cos^2(a) - 1 = \frac{3}{5} \]
\[ 2\cos^2(a) = \frac{3}{5} + 1 \]
\[ 2\cos^2(a) = \frac{8}{5} \]
\[ \cos^2(a) = \frac{4}{5} \]
\[ \cos(a) = \pm \sqrt{\frac{4}{5}} \]
\[ \cos(a) = \pm \frac{2}{\sqrt{5}} = \pm \frac{2\sqrt{5}}{5} \]

Vì \( \frac{3\pi}{4} < a < \pi \), nên \( a \) nằm ở góc phần tư thứ hai, và trong góc phần tư này, \(\cos(a)\) âm:

\[ \cos(a) = -\frac{2\sqrt{5}}{5} \]

Bây giờ chúng ta tính \(\cos(3a)\) sử dụng công thức \(\cos(3a) = 4\cos^3(a) - 3\cos(a)\):

\[ \cos(3a) = 4\left( -\frac{2\sqrt{5}}{5} \right)^3 - 3\left( -\frac{2\sqrt{5}}{5} \right) \]

Tính toán chi tiết:

\[ \cos(3a) = 4\left( -\frac{8\sqrt{5}}{25\sqrt{5}} \right) + \frac{6\sqrt{5}}{5} \]
\[ \cos(3a) = 4\left( -\frac{8\sqrt{5}}{25} \right) + \frac{6\sqrt{5}}{5} \]
\[ \cos(3a) = -\frac{32\sqrt{5}}{25} + \frac{6\sqrt{5}}{5} \]
\[ \cos(3a) = -\frac{32\sqrt{5}}{25} + \frac{30\sqrt{5}}{25} \]
\[ \cos(3a) = -\frac{32\sqrt{5}}{25} + \frac{30\sqrt{5}}{25} \]
\[ \cos(3a) = -\frac{2\sqrt{5}}{25} \]

Do đó:

\[ \cos(3a) = -\frac{2\sqrt{5}}{25} \]