Đáp án B

Gọi N là trung điểm của BC. Ta có: \(d\left( {AB;SM} \right) = d\left( {A;\left( {SMN} \right).} \right)\)

Dựng đường cao AK trong tam giác AMN, đường cao AH trong tam giác SAK.

Do \(SA \bot \left( {ABC} \right)\) nên \(SA \bot MN\). (1)

Theo cách dựng ta lại có \(MN \bot AK.\) (2)

Từ (1) và (2) \( \Rightarrow MN \bot AH\) mà \(AH \bot SA\) (theo cách dựng).

\( \Rightarrow AH \bot \left( {SMN} \right)\) tại H nên \(d\left( {AB;SM} \right) = d\left( {A;\left( {SMN} \right)} \right) = AH.\)

Ta có: \(AK = BN = \frac{{BC}}{2} = 2a;AC = 5a.\)

Xét tam giác SAC có \(SA = AC.\tan 60^\circ = 5a\sqrt 3 .\)

Xét tam giác SAK vuông tại A với đường cao AH có:

\(\frac{1}{{A{H^2}}} = \frac{1}{{S{A^2}}} + \frac{1}{{A{K^2}}} = \frac{1}{{75{a^2}}} + \frac{1}{{4{a^2}}} = \frac{{79}}{{300{a^2}}} \Rightarrow A{H^2} = \frac{{300{a^2}}}{{79}} \Rightarrow AH = \frac{{10\sqrt 3 a}}{{\sqrt {79} }}.\)