Để giải bài toán này, chúng ta sẽ cần sử dụng một số công thức lượng giác cơ bản và một số mối quan hệ giữa các góc và các giá trị lượng giác. Trước hết, ta có \(\sin(2a) = -\frac{4}{5}\) và \( \frac{3\pi}{4} < a < \pi \). Ta sẽ đi từng bước để tính giá trị của \(P = \frac{\sin(2a)}{\cos(4a) + 1}\).

### Bước 1: Tính \(a\) từ \(\sin(2a)\)

Ta có \(\sin(2a) = -\frac{4}{5}\). Sử dụng công thức \(\sin(2a) = 2 \sin(a) \cos(a)\), ta có:
\[ 2 \sin(a) \cos(a) = -\frac{4}{5} \]
\[ \sin(a) \cos(a) = -\frac{2}{5} \]

### Bước 2: Sử dụng \(\tan(a) = -2\)

Ta có \(\tan(a) = \frac{\sin(a)}{\cos(a)} = -2\). Giả sử \(\sin(a) = k \cos(a)\), ta có:
\[ k = -2 \]

Do đó, ta có:
\[ \sin(a) = -2 \cos(a) \]

### Bước 3: Giải hệ phương trình

Sử dụng \(\sin^2(a) + \cos^2(a) = 1\):
\[ (-2 \cos(a))^2 + \cos(a)^2 = 1 \]
\[ 4 \cos^2(a) + \cos^2(a) = 1 \]
\[ 5 \cos^2(a) = 1 \]
\[ \cos(a) = \pm \frac{1}{\sqrt{5}} \]

Do góc \(a\) thuộc khoảng \(\frac{3\pi}{4} < a < \pi\), nên \(\cos(a) < 0\):
\[ \cos(a) = -\frac{1}{\sqrt{5}} \]
\[ \sin(a) = -2 \cos(a) = -2 \left(-\frac{1}{\sqrt{5}}\right) = \frac{2}{\sqrt{5}} \]

### Bước 4: Tính \(\cos(4a)\)

Ta có công thức:
\[ \cos(4a) = 1 - 2 \sin^2(2a) \]
\[ \sin(2a) = -\frac{4}{5} \]
\[ \sin^2(2a) = \left(-\frac{4}{5}\right)^2 = \frac{16}{25} \]
\[ \cos(4a) = 1 - 2 \times \frac{16}{25} = 1 - \frac{32}{25} = \frac{25}{25} - \frac{32}{25} = -\frac{7}{25} \]

### Bước 5: Tính \(P\)

\[ P = \frac{\sin(2a)}{\cos(4a) + 1} \]
\[ P = \frac{-\frac{4}{5}}{-\frac{7}{25} + 1} = \frac{-\frac{4}{5}}{\frac{18}{25}} = -\frac{4}{5} \times \frac{25}{18} = -\frac{20}{18} = -\frac{10}{9} \]

Vậy giá trị của \(P\) là:
\[ P = -\frac{10}{9} \]