Tüm terimler pozitif olduğu için $$\dfrac{a^2+b^2+1}{ab+a+b}=k$$ olacak şekilde $k$ pozitif tam sayısı olmalıdır. İçler dışlar çarpımı yapıp ifademizi düzenlersek ($a$ gördüğümüz yere $x$ yazalım).
$f:\mathbb{Z}^+ \longrightarrow \mathbb{Z}$ tanımlı $f(x)=x^2-k.(b+1)x+(b^2+1-kb)$ fonksiyonunu elde ederiz ve bu fonksiyonun bir kökü $x_1=a$ dır. Bu fonksiyonun diğer kökünü bulmak için Vieta Jumping yardımıyla $ x_2=k.(b+1)-a$ olarak buluruz. Kökler çarpımı pozitif ve $x_1>0$ olduğu için $x_2>0$ da sağlanmalıdır.
$k\geq 3$ için
$$f(b)=(2-k)b^2-2kb+1=(2-k).(b^2+2b+1-1) -4b+1=(2-k).(b+1)^2+k-2-4b+1$$
$k-2=m$ dönüşümü yapalım ve $m$ in pozitif tam sayı olduğunu not edelim. Bu durumda klasik $(b-1)^2\geq 0$ eşitsizliğinden $(b+1)^2 \geq 4b$ elde edilir. Buradan $$-m(b+1)^2\leq -4mb$$ gelir. Bunu $f(b)$ de uygularsak $$f(b)=-m.(b+1)^2+m-4b+1\leq -4mb+m-4b+1=(m+1).(-4b+1)=-(m+1)(4b-1)$$ olur ve $m+1>0$ ve $4b-1>0$ olduğundan dolayı $f(b)<0$ elde edilir. Bu da bize fonksiyonun grafiği düşünülerek incelersek (her iki sonsuzda da fonksiyonun limiti + sonsuza gidiyor bu yüzden $f(b)<0$ noktasını seçtiğimizde bir kök $b$ den küçük diğer kök ise $b$ den büyük olmalıdır. $a\geq b$ kabulümüzden dolayı $0<a'<b$ ve $a>b>0$ elde edilir. $(a',b)$ bir çözüm ise $(b,a')$ de bir çözümdür. Bu da bize $(a,b)$ den küçük bir $(b,a')$ çözümü verir. Ayrıca, bu işlemi sonsuza kadar uygulayabileceğimiz için Fermat'ın infinite descent tekniğinden dolayı denklemin pozitif tam sayılarda çözümü bulunamaz.
$k=1$ ve $k=2$ durumları geriye kalır.
a) $k=1$ olsun. Bu durumda $a^2+b^2+1=ab+a+b$ gelir. Denklemi $a^2-(b+1)a+b^2-b+1=0$ olarak yeniden yazalım. Denklemin diskriminantı alınırsa
$$b^2+2b+1-4.1.(b^2-b+1)=-3b^2+6b-3=-3.(b-1)^2$$ olur. Buradan $b=1$ in tek olasılık olduğu yani $(1,1)$ çözümünün geldiği görülebilir.
b) $k=2$ olsun. Bu durumda denklemimiz $a^2+b^2+1=2ab+2a+2b$ olur. Denklemi yeniden yazarsak $$a^2+(-2b-2).a+b^2-2b+1=0$$ $a$ ya göre diskriminantı alırsak
$$m^2=4b^2+8b+4-4.1.(b^2-2b+1)=16b$$ olacak şekilde $m$ pozitif tam sayısı bulunduğunu görebiliriz. $16$ tam kare olduğu için $b=t^2$ olacak şekilde bir $t$ pozitif tam sayısı bulunmalıdır. $$a_1=\dfrac{2t^2+2+4t}{2},a_2=\dfrac{2t^2+2-4t}{2}$$ olur ve buradan denklemin çözümleri
$$\{((t+1)^2,t^2),((t-1)^2,t^2)\}$$ olur. Buradan yola çıkarak denklemin tüm çözümleri
$$\{(1,1),((t-1)^2,t^2),(t^2,(t-1)^2)\}$$ , $t\in \mathbb{Z}_{\geq 2}$ olarak bulunur.
Not: Soruda diskriminantı yazarken hatalı yazım yaptığımı fark ettim. $k=1$ kısmının çözümünü düzenledim.
