Phương trình hoành độ giao điểm:

\(\begin{array}{l}{x^3} - 3{x^2} + 2 = m(x - 1)\\ \Leftrightarrow (x - 1)\left( {{x^2} - 2x - 2} \right) = m(x - 1)\\ \Leftrightarrow (x - 1)\left( {{x^2} - 2x - 2 - m} \right) = 0\\ \Leftrightarrow \left[ {\begin{array}{*{20}{l}}{x = 1}\\{{x^2} - 2x - 2 - m = 0\,\,\,(*)}\end{array}} \right.\end{array}\)

Phương trình có 3 nghiệm phân biệt khi và chỉ khi phương trình (*) có 2 nghiệm phân biệt khác 1.

\( \Rightarrow \left\{ {\begin{array}{*{20}{l}}{\Delta ' = 1 + 2 + {\rm{m}} > 0}\\{1 - 2 - 2 - {\rm{m}} \ne 0}\end{array} \Leftrightarrow \left\{ {\begin{array}{*{20}{l}}{{\rm{m}} > - 3}\\{\;{\rm{m}} \ne - 3}\end{array} \Leftrightarrow {\rm{m}} > - 3.} \right.} \right.\)

Phương trình có ba nghiệm thỏa \(x_1^2 + x_2^2 + x_3^2 = 5 \Leftrightarrow x_2^2 + x_3^2 = 4\) với \({x_2};{x_3}\) là 2 nghiệm của phương trình (*).

Áp dụng định lý Vi - ét cho phương trình (*) ta có: \(\left\{ {\begin{array}{*{20}{l}}{{\rm{S}} = {{\rm{x}}_2} + {{\rm{x}}_3} = 2}\\{{\rm{P}} = {{\rm{x}}_2}{\rm{.}}{{\rm{x}}_3} = - 2 - {\rm{m}}}\end{array}} \right.\)

Ta có \(x_2^2 + x_3^2 = 4 \Leftrightarrow {\left( {{x_2} + {x_3}} \right)^2} - 2{x_2}{x_3} = 4 \Leftrightarrow 4 - 2( - 2 - {\rm{m}}) = 4 \Leftrightarrow {\rm{m}} = - 2\)(thỏa mãn).

Vậy \(m \in ( - 3;2]\). Chọn B.