1+ab)p2+(a2−b2−b)p=a(b+1)(1+ab)p2+(a2-b2-b)p=a(b+1)

⇔p(p+pab+a2−b2−b)=a(b+1)(1)⇔p(p+pab+a2-b2-b)=a(b+1)(1)

Khi đó: a(b+1)⋮pa(b+1)⋮p

TH1: a⋮pa⋮p

Đặt a=pk(k∈N)a=pk(k∈ℕ)

Khi đó: (1)⇒p(p+p2bk+p2k2−b2−b)=pk(b+1)(1)⇒p(p+p2bk+p2k2-b2-b)=pk(b+1)

⇒p+p2bk+p2k2−b2−b=bk+k⇒p+p2bk+p2k2-b2-b=bk+k

⇔p=(b+k)(b−kp2+1)⇔p=(b+k)(b-kp2+1)

Vì pp là số nguyên tố nên ta xét các trường hợp

TH1.1: {b+k=1b−kp2+1=p(2){b+k=1b-kp2+1=p(2)

Từ b+k=1⇒b=1−k≤1b+k=1⇒b=1-k≤1 (Vì k∈Nk∈ℕ)

⇒b∈{0;1}⇒b∈{0;1}

Nếu b=0⇒k=1b=0⇒k=1

Khi đó: (2)⇒−p2+1=p⇒p2+p−1=0(2)⇒-p2+1=p⇒p2+p-1=0 (Vô nghiệm vì p2+p−1≥22+2−1>0p2+p-1≥22+2-1>0 với pp là số nguyên tố)

Nếu b=1⇒k=0(n)b=1⇒k=0(n)

Khi đó: (2)⇒p=2(n)(2)⇒p=2(n)

Dễ dàng suy ra: a=pk=0(n)a=pk=0(n)

TH1.2: {b+k=pb−kp2+1=1{b+k=pb-kp2+1=1

Từ b−kp2+1=1⇒b=kp2=pab-kp2+1=1⇒b=kp2=pa

PT đầu ⇔(1+pa2)p2+(a2−p2a2−pa)p=a(pa+1)⇔(1+pa2)p2+(a2-p2a2-pa)p=a(pa+1)

⇔p2+p3a2+a2p−a2p3−ap2−a2p−a=0⇔p2+p3a2+a2p-a2p3-ap2-a2p-a=0

⇔p2−a−p2a=0⇔p2-a-p2a=0

⇔(1−a)(p2+1)=1⇔(1-a)(p2+1)=1

Mà: p2+1≥22+1>1p2+1≥22+1>1

Do đó không tìm được a,pa,p thỏa mãn

TH2: b+1⋮pb+1⋮p 

Đặt b=ph−1(h∈N∗)b=ph-1(h∈ℕ∗). Khi đó: b∈N∗b∈ℕ∗

PT đầu ⇔(1+aph−a)p2+(a2−p2h2+2ph−1−ph+1)p=aph⇔(1+aph-a)p2+(a2-p2h2+2ph-1-ph+1)p=aph

⇔p+ap2h−ap+a2−p2h2+ph−ah=0⇔p+ap2h-ap+a2-p2h2+ph-ah=0

⇔p=(h−a)(a−p+p2h)⇔p=(h-a)(a-p+p2h)

Vì pp là số nguyên tố nên ta xét các trường hợp

TH2.1: {h−a=1a−p+p2h=p{h-a=1a-p+p2h=p

⇔{h=a+1a−2p+p2h=0⇔{h=a+1a-2p+p2h=0

Từ a−2p+p2h=0⇒a−2p+p2(a+1)=0a-2p+p2h=0⇒a-2p+p2(a+1)=0 

⇔(a+1)(p2+1)=2p+1⇔(a+1)(p2+1)=2p+1

Vì 2p+12p+1 là số lẻ với pp là số nguyên tố thì (a+1)(p2+1)(a+1)(p2+1) là số lẻ

Khi đó: a+1a+1 và p2+1p2+1 đồng thời là số lẻ

Với p2+1p2+1 lẻ thì p2p2 chẵn ⇒p⇒p chẵn

Kết hợp với pp là số nguyên tố thì p=2p=2

Khi đó: {h=a+1a−4+4h=0⇒{a=0(n)h=1(n){h=a+1a-4+4h=0⇒{a=0(n)h=1(n)

Khi đó: b=ph−1=2.1−1=1(n)b=ph-1=2.1-1=1(n)

TH2.2: {h−a=pa−p+p2h=1{h-a=pa-p+p2h=1

⇔{h=a+pa−p+p2h−1=0⇔{h=a+pa-p+p2h-1=0

Từ a−p+p2h−1=0a-p+p2h-1=0 suy ra a−p+p2(a+p)−1=0a-p+p2(a+p)-1=0

⇔(p2+1)(a+p)=2p+1⇔(p2+1)(a+p)=2p+1

Vì 2p+12p+1 là số lẻ với pp là số nguyên tố thì (a+p)(p2+1)(a+p)(p2+1) là số lẻ

Khi đó: a+pa+p và p2+1p2+1 đồng thời là số lẻ

Với p2+1p2+1 lẻ thì p2p2 chẵn ⇒p⇒p chẵn

Kết hợp với pp là số nguyên tố thì p=2p=2

Khi đó từ a−p+p2(a+p)−1=0a-p+p2(a+p)-1=0 suy ra: a−2+4(a+2)−1=0a-2+4(a+2)-1=0

⇔a=−1(l)⇔a=-1(l)

Vậy (a,b)=(0;1)