Lời giải

Gọi N là trung điểm của AC.

Suy ra MN là đường trung bình của tam giác ABC.

Do đó MN // AB và \(MN = \frac{{AB}}{2} = \frac{{\sqrt {O{A^2} + O{B^2}} }}{2} = \frac{{\sqrt {4O{C^2} + 4O{C^2}} }}{2} = \sqrt 2 OC\).

Khi đó góc giữa hai đường thẳng OM và AB là góc giữa hai đường thẳng OM và MN và bằng \(\widehat {OMN}\).

Tam giác OAC vuông tại O có ON là đường trung tuyến.

Suy ra \(ON = AN = NC = \frac{{AC}}{2} = \frac{{\sqrt {O{A^2} + O{C^2}} }}{2} = \frac{{OC\sqrt 5 }}{2}\).

Ta có \(B{C^2} = O{B^2} + O{C^2} - 2OB.OC.\cos \widehat {BOC} = 5O{C^2} - 4O{C^2}.\cos 60^\circ = 3O{C^2}\).

Khi đó \(O{M^2} = \frac{{2\left( {O{B^2} + O{C^2}} \right) - B{C^2}}}{4} = \frac{{2\left( {4O{C^2} + O{C^2}} \right) - 3O{C^2}}}{4} = \frac{{7O{C^2}}}{4}\).

Ta có \(\cos \widehat {OMN} = \frac{{O{M^2} + M{N^2} - O{N^2}}}{{2.OM.MN}} = \frac{{\frac{{7O{C^2}}}{4} + 2O{C^2} - \frac{{5O{C^2}}}{4}}}{{2.\frac{{OC\sqrt 7 }}{2}.\sqrt 2 OC}} = \frac{{5\sqrt {14} }}{{28}}\).

Vậy côsin giữa hai đường thẳng OM và AB bằng \(\frac{{5\sqrt {14} }}{{28}}\).