Để giải bài toán, ta có các bước như sau:

### Bước 1: Tính giá trị của \( \cos a \) và \( \tan 2a \)

Biết rằng \( \sin a = \frac{1}{3} \) và \( \frac{\pi}{2} < a < \pi \) thì \( \cos a < 0 \).

Áp dụng định lý Pytago:

\[
\cos^2 a = 1 - \sin^2 a = 1 - \left(\frac{1}{3}\right)^2 = 1 - \frac{1}{9} = \frac{8}{9}
\]

Vì \( a \) nằm trong khoảng từ \( \frac{\pi}{2} \) đến \( \pi \), ta có:

\[
\cos a = -\sqrt{\frac{8}{9}} = -\frac{2\sqrt{2}}{3}
\]

### Bước 2: Tính \( \tan a \)

Từ \( \tan a = \frac{\sin a}{\cos a} \):

\[
\tan a = \frac{\frac{1}{3}}{-\frac{2\sqrt{2}}{3}} = -\frac{1}{2\sqrt{2}} = -\frac{\sqrt{2}}{4}
\]

### Bước 3: Tính \( \tan 2a \)

Sử dụng công thức \( \tan 2a = \frac{2\tan a}{1 - \tan^2 a} \):

1. Tính \( \tan^2 a \):

\[
\tan^2 a = \left(-\frac{\sqrt{2}}{4}\right)^2 = \frac{2}{16} = \frac{1}{8}
\]

2. Tính \( \tan 2a \):

\[
\tan 2a = \frac{2 \left(-\frac{\sqrt{2}}{4}\right)}{1 - \frac{1}{8}} = \frac{-\frac{\sqrt{2}}{2}}{\frac{7}{8}} = -\frac{4\sqrt{2}}{7}
\]

### Bước 4: Tính giá trị của \( S \)

\[
S = 3\cos a + 7\tan 2a
\]

Thay vào:

\[
S = 3\left(-\frac{2\sqrt{2}}{3}\right) + 7\left(-\frac{4\sqrt{2}}{7}\right)
\]

\[
S = -2\sqrt{2} - 4\sqrt{2} = -6\sqrt{2}
\]

### Bước 5: Tìm \( m \) và \( n \)

Chúng ta có:

\[
S = -6\sqrt{2}
\]

Ở đây, \( m = -6 \) và \( n = 2 \).

### Bước 6: Tính \( m^2 + n^2 \)

\[
m^2 + n^2 = (-6)^2 + 2^2 = 36 + 4 = 40
\]

### Kết luận

Vậy \( m^2 + n^2 = 40 \).