a) Để chứng minh \( BC \) vuông góc với mặt phẳng \( (SAB) \), ta cần chứng minh rằng vector \( BC \) vuông góc với vector \( SA \), bởi vì vector \( SA \) nằm trên mặt phẳng \( (ABCD) \), do đó mặt phẳng \( (SAB) \) sẽ vuông góc với \( (ABCD) \) nếu \( BC \) vuông góc với \( SA \).

Ta có: \( SA = 4a \) và \( BC = 3a \).

Để tính tích vô hướng của hai vector \( \vec{SA} \) và \( \vec{BC} \), ta cần biết góc giữa chúng. Vì \( SA \) vuông góc với mặt phẳng \( (ABCD) \), nên góc giữa \( SA \) và \( BC \) cũng chính là góc giữa \( SA \) và \( AD \).

Sử dụng tính chất của hình vuông, ta có \( AD = BC = 3a \).

Tích vô hướng của hai vector \( \vec{SA} \) và \( \vec{BC} \) là:

\[ \vec{SA} \cdot \vec{BC} = |SA| \times |BC| \times \cos(\angle SAD) \]

\[ \vec{SA} \cdot \vec{BC} = 4a \times 3a \times \cos(90^\circ) \] (vì \( SA \) vuông góc với \( AD \))

\[ \vec{SA} \cdot \vec{BC} = 12a^2 \times 0 = 0 \]

Do tích vô hướng bằng 0, nên hai vector \( \vec{SA} \) và \( \vec{BC} \) là vuông góc với nhau. Vậy \( BC \) vuông góc với mặt phẳng \( (SAB) \).

b) Để tính khoảng cách giữa hai đường thẳng \( AD \) và \( SM \), chúng ta có thể tính khoảng cách từ một điểm thuộc đường thẳng \( AD \) đến đường thẳng \( SM \).

Ta biết rằng \( M \) là trung điểm của \( BC \), do đó \( SM \) sẽ là đường trung trực của \( BC \). Khoảng cách từ \( A \) đến đường trung trực của \( BC \) chính là khoảng cách từ \( A \) đến \( BC \).

Vì \( ABCD \) là hình vuông, nên \( AD \) và \( BC \) song song và có cùng khoảng cách với mặt phẳng \( ABCD \). Khoảng cách này chính là độ dài cạnh của hình vuông, tức là \( 3a \).

Vậy, khoảng cách giữa hai đường thẳng \( AD \) và \( SM \) cũng là \( 3a \).