Ta cần chứng minh:

ab(a−2)(b+6)+13a²+4b²−26a+24b+16≥0

với mọi a,b∈R.

Đặt

P=ab(a−2)(b+6)+13a²+4b²−26a+24b+16

Ta biến đổi:

ab(a−2)(b+6)=ab(ab+6a−2b−12)

nên

P=a²b²+6a²b−2ab²−12ab+13a²+4b²−26a+24b+16

Nhóm hạng tử theo a:

P=a²(b²+6b+13)−2a(b²+6b+13)+4b²+24b+16

vì

−2a(b²+6b+13)=−2ab²−12ab−26a

Do đó

P=(b²+6b+13)(a²−2a)+4b²+24b+16

Mà

a²−2a=(a−1)²−1

nên

P=(b²+6b+13)(a−1)²−(b²+6b+13)+4b²+24b+16

Suy ra

P=(b²+6b+13)(a−1)²+3b²+18b+3

P=(b²+6b+13)(a−1)²+3(b²+6b+1)

Tiếp tục:

b²+6b+13=(b+3)²+4>0

và

3(b²+6b+1)=3((b+3)²−8)

Ta thử hoàn chỉnh tiếp theo hướng khác:

Từ

4b²+24b+16=4(b+3)²−20

nên

P=(b²+6b+13)(a−1)²+4(b+3)²−(b2+6b+13)−20

 =(b²+6b+13)(a−1)²+4(b+3)²−(b+3)²−24

=(b²+6b+13)(a−1)²+3(b+3)²−24

Ta cần kiểm tra lại phép biến đổi ban đầu. Thay vì tiếp tục, ta phân tích trực tiếp chính xác hơn:

4b²+24b+16−(b²+6b+13)=3b²+18b+3

=3(b²+6b+1)

=3((b+3)²−8)

Do đó:

P=(b²+6b+13)(a−1)²+3(b+3)²−24

Biểu thức này chưa hiển nhiên không âm, nên ta tiếp tục phân tích khác.

Quay lại từ đầu, nhóm theo b:

P=b²(a²−2a+4)+b(6a²−12a+24)+13a²−26a+16

=a²−2a+4=(a−1)²+3>0

Xét như tam thức theo b. Biệt thức:

Δ=[6a²−12a+24]²−4(a²−2a+4)(13a²−26a+16)

Đặt t=a²−2a=(a−1)²−1. Khi đó:

Δ=(6t+24)²−4(t+4)(13t+16)

=36(t+4)²−4(13t2+68t+64)

=36t²+288t+576−52t²−272t−256

=−16t²+16t+320

=16(−t²+t+20)

Mà t=a²−2at, nên

−t²+t+20=−(t−5)(t+4)

Do t=(a−1)²−1≥−1, nên t+4>0. Nhưng Δ\DeltaΔ có thể dương, nên cách này không tiện.

Ta thử tách thành tổng bình phương:

P=(ab+3a−b−4)²+3(a−1)²+3(b+2)²

Khai triển vế phải:

(ab+3a−b−4)²=a²b²+6a²b−2ab²−14ab+9a²+b²−24a+8b+16

Cộng thêm

3(a−1)²=3a²−6a+3

và

3(b+2)²=3b²+12b+12

Tổng là

a²b²+6a²b−2ab²−14ab+12a²+4b²−30a+20b+31

chưa đúng.

Ta sửa thử:

P=(ab+3a−b−6)²+4(a−1)²+3b²

Khai triển:

(ab+3a−b−6)²=a²b²+6a²b−2ab²−18ab+9a²+b²−36a+12b+36

Cộng thêm:

4(a−1)²=4a2−8a+4

và 3b², được:

a²b²+6a²b−2ab²−18ab+13a²+4b²−44a+12b+40

vẫn sai.

Ta thử trực tiếp bằng CAS suy luận dạng đẹp:

P=(a−1)²(b+3)²+4(a−2)²+3b²

Khai triển:

(a²−2a+1)(b²+6b+9)

=a²b²+6a²b+9a²−2ab²−12ab−18a+b²+6b+9

Cộng thêm

4(a−2)²=4a²−16a+16

và 3b², ta được

a²b²+6a²b−2ab²−12ab+13a²+4b²−34a+6b+25

gần đúng nhưng chưa khớp.

Ta điều chỉnh:

P=(a−1)²(b+3)²+4(a−1)²+3(b+3)²

Khai triển:

(a−1)²[(b+3)²+4]+3(b+3)²

 =(a²−2a+1)(b²+6b+13)+3b²+18b+27

=a²b²+6a²b+13a²−2ab²−12ab−26a+b²+6b+13+3b2+18b+27

=a²b²+6a²b−2ab²−12ab+13a²+4b²−26a+24b+40

=a²b²+6a²b−2ab²−12ab+13a²+4b²−26a+24b+40

Vậy

P=(a−1)²(b2+6b+13)+3(b+3)²−24

Nhận thấy đề bài có thể bị sai hằng số. Nếu hằng số cuối là 40 thì đúng hiển nhiên.

Với đề đã cho, thử a=1,b=−3:

P=1⋅(−3)(−1)⋅3+13+36−26−72+16 =9+13+36−26−72+16=−24<0

Vậy bất đẳng thức đã cho không đúng với mọi số thực.

Phản ví dụ:

a=1,b=−3

thì

ab(a−2)(b+6)+13a²+4b²−26a+24b+16=−24<0

Do đó mệnh đề đã cho là sai.