a) Để chứng minh $BC$ vuông góc với mặt phẳng $(SAB)$, ta cần chứng minh rằng vector $BC$ vuông góc với vector $SA$, bởi vì vector $SA$ nằm trên mặt phẳng $(ABCD)$, do đó mặt phẳng $(SAB)$ sẽ vuông góc với $(ABCD)$ nếu $BC$ vuông góc với $SA$.

Ta có: $SA = 4a$ và $BC = 3a$.

Để tính tích vô hướng của hai vector $\vec{SA}$ và $\vec{BC}$, ta cần biết góc giữa chúng. Vì $SA$ vuông góc với mặt phẳng $(ABCD)$, nên góc giữa $SA$ và $BC$ cũng chính là góc giữa $SA$ và $AD$.

Sử dụng tính chất của hình vuông, ta có $AD = BC = 3a$.

Tích vô hướng của hai vector $\vec{SA}$ và $\vec{BC}$ là:

$\vec{SA} \cdot \vec{BC} = |SA| \times |BC| \times \cos(\angle SAD)$

$\vec{SA} \cdot \vec{BC} = 4a \times 3a \times \cos(90^\circ)$ (vì $SA$ vuông góc với $AD$)

$\vec{SA} \cdot \vec{BC} = 12a^2 \times 0 = 0$

Do tích vô hướng bằng 0, nên hai vector $\vec{SA}$ và $\vec{BC}$ là vuông góc với nhau. Vậy $BC$ vuông góc với mặt phẳng $(SAB)$.

b) Để tính khoảng cách giữa hai đường thẳng $AD$ và $SM$, chúng ta có thể tính khoảng cách từ một điểm thuộc đường thẳng $AD$ đến đường thẳng $SM$.

Ta biết rằng $M$ là trung điểm của $BC$, do đó $SM$ sẽ là đường trung trực của $BC$. Khoảng cách từ $A$ đến đường trung trực của $BC$ chính là khoảng cách từ $A$ đến $BC$.

Vì $ABCD$ là hình vuông, nên $AD$ và $BC$ song song và có cùng khoảng cách với mặt phẳng $ABCD$. Khoảng cách này chính là độ dài cạnh của hình vuông, tức là $3a$.

Vậy, khoảng cách giữa hai đường thẳng $AD$ và $SM$ cũng là $3a$.