Verilen eşitliği $2(x_1^2 x_2^2+x_1^2 +x_2^2+ 1)=(a+b-1)^2$ biçiminde yazalım. $x_1+x_2=-a$ ve $x_1x_2=b$ olduğundan $x_1^2 +x_2^2=a^2-2b$ dir. Böylece $2(b^2+a^2-2b+ 1)=(a+b-1)^2$ olur. Bu eşitlik düzenlenirse $(a-b+1)^2=0$ biçimine gelir. Böylece $a=b-1$ dir. Ayrıca $x_1$, $x_2$ köklerinin gerçel olması için denklemin diskriminantının pozitif olması gerekli ve yeterlidir. Buna göre $a^2-4b>0$ olmalıdır. $(b-1)^2-4b>0$ eşitsizliğinden $b^2+1>6b$ elde edilir.
Şimdi ikinci kısma bakalım. Diskriminanttan dolayı $a^2-4b>0$ olmalıdır. Ayrıca $b>a$ verildiğinden $a>4$ olmalıdır. (Soruda $a>2$ verilmese de olurdu). $\dfrac{a^2}{8}+\dfrac{(a-b)^2}{b-2}>x_1x_2 + x_1+x_2 + 1$ eşitsizliğini $\dfrac{a^2}{8}+\dfrac{(a-b)^2}{b-2}>b-a+1$ biçiminde yazabiliriz. Payda eşitleyip düzenlersek $a^2b+6a^2+16-8ab-16a +8b>0$ eşitsizliğine dönüşür.$b$ yi yalnız bırakalım. $b(a^2-8a+8)>-2(3a^2-8a+8)$ olur. $a^2-8a+8 =0$ denkleminin $4$ ten büyük kökü $a=4+2\sqrt2 $ dir.
$a \geq 4+2\sqrt2$ olması halini inceleyelim. $3a^2-8a+8$ ikinci dereceden ifadesinin diskriminantı negatif olduğundan her $a$ için $3a^2-8a+8>0$ ve $-2(3a^2-8a+8)<0$ olur. Dolayısıyla $b(a^2-8a+8)>-2(3a^2-8a+8)$ eşitsizliğinin sağ tarafı pozitif ya da sıfır, sol tarafı negatif olup eşitsizlik doğrudur.
Şimdi $4<a<4+2\sqrt2 $ durumuna bakalım. $a^2-8a+8<0$ olup göstermemiz istenen eşitsizlik $b<\frac{-2(3a^2-8a+8)}{a^2-8a+8}$ haline dönüşür. Aynı zamanda $b<\dfrac{a^2}{4}$ olması gerektiğinden biz $\dfrac{a^2}{4}<\frac{-2(3a^2-8a+8)}{a^2-8a+8} $ olduğunu gösterirsek ispat biter. Bu ise $a^4-8a^3+32a^2-64a-64 >0$ eşitsizliğini göstermeye denktir. $f(a)=a^4-8a^3+32a^2-64a-64$ diyelim ve türev alıp $f'(a) = 4 (a^3-6 a^2+16 a-16)=0$ yazalım. $f'(a)=4(a-2)(a^2-4a+8)=0$ olup $a=2$ de mutlak minimum vardır. $a>2$ için $f$ fonksiyonu artandır. Dolayısıyla $4<a<4+2\sqrt2 $ aralığında da $f$ artandır. $f(4)>0$ olduğundan $4<a<4+2\sqrt2 $ aralığında $a^4-8a^3+32a^2-64a-64 >0$ sağlanır. İspat tamamdır.
