Paydalar'ın $0$ olmaması gerektiğini not ederek başlayalım. İçler dışlar çarpımı yaparsak $$(x^2-xy-3y^2-2x-4y)(x^2-xy-y^2-2y)-(x^2-xy+x-y)^2=0$$ olur. Burada gizemli bir faktörizasyon saklandığını görüyoruz
. Soldaki çarpan halindeki terimleri sağdaki $x^2-xy+x-y$ ifadesine benzetirsek $$(x^2-xy+x-y-3.(y^2+x+y))(x^2-xy+x-y-(y^2+x+y))-(x^2-xy+x-y)^2=0$$ elde edilir. Değişken dönüşümü yapalım. $x^2-xy+x-y=u$ ve $y^2+x+y=v$ olsun. O halde $(u-3v)(u-v)-u^2=0$ $-4uv+3v^2=0$ yani $$v.(4u-3v)=0$$ elde edilir. Buradan ise iki olasılık oluşuyor. $u=0$ ve $4u-3v=0$
a) $v=y^2+x+y=0$ olsun. O halde $x=-y(y+1)$ olur. Payda $=0$ denklemlerini çözdükten sonra belirli $(x,y)$ elememiz gerekebilir.
b) $4u-3v=0$ olsun. O halde $$4x^2-4xy+x-3y^2-7y=0=(4)x^2+(-4y+1)x+(-3y^2-7y)$$ olur. Bu denklemin çözümü olabilmesi için $Δ_x=d^2$ olacak şekilde $d$ tam sayısı bulunmalıdır. Buradan $$d^2=(4y-1)^2-4.(4).(-3y^2-7y)=64y^2+104y+1$$ olur.
1) Varsayalım $y>0$ olsun. O halde $(8y+6)^2<d^2<(8y+7)^2$ yazabilecğimizi görürüz. Bu eşitsizliğin sağlanması $y$ nin hangi eşitsizlikleri sağlaması gerektiğini bulalım. Sol taraftan $8y>35$ sağ taraftan ise $8y>-48$ görürüz. Yani $y\in \{1,2,3,4\}$ olur. Bunları daha sonra denemeliyiz.
2) $y<0$ olsun. O halde $y=-a$ dönüşümü yapalım $a>0$ olur. $d^2=64a^2-104a+1$ bunu da $(8a-7)^2<d^2<(8a-6)^2$ olarak sıkıştırıp eşitsizlikleri çözelim.
$8a>48$ soldan $8a>-35$ sağ taraftan gelir yani $a\leq 6 $ elle denenmelidir.
Buradan $y\in \{ -6,-5,-4,-3,-2,-1,0,1,2,3,4 \}$ olabileceğini gösterir.
1) $y=-6$ yazalım. $4x^2+25x-66=(4x+33)(x-2)=0$ olur. $x=2$ gelir.
2) $y=-5$ yazalım. $4x^2+21x-40=0$ olur. Diskriminantı tam kare değildir.
3) $y=-4$ yazalım. $4x^2+17x-20=0$ olur. Diskriminantı tam kare değildir.
4) $y=-3$ yazalım. $4x^2+13x-6=0$ olur. Diskriminantı tam kare değildir.
5) $y=-2$ yazalım. $4x^2+9x+2=0=(x+2).(4x+1)$ olur. $x=-2$ bulunur.
6) $y=-1$ yazalım. $4x^2+5x+2=0$ olur. Diskriminantı negatiftir.
7) $y=0$ yazalım. $x.(4x+1)=0$ olur. $x=0$ sağlar.
$8)$ $y=1$ yazalım. $4x^2-3x-10=0=(x-2)(4x+5)$ olur. $x=2$ bulunur.
9) $y=2$ yazalım. $4x^2-7x-26$ olur. Diskriminantı tam kare değildir.
10) $y=3$ yazalım. $4x^2-11x-46=0$ Diskriminantı tam kare değildir.
11) $y=4$ yazalım. $4x^2-15x-72=0$ olur. Dİskriminantı tam kare değildir.
Buradan gelen çözümler ise $(2,-6),(-2,-2),(0,0),(2,1)$ olur.
İlk taraftan gelen çözümler ise $(-k.(k+1),k)$ ,$k\in Z$ olur. Şimdi ise paydalardan $0$ olma ihtimallerini elemeliyiz. $$x^2-xy+x-y=0,x^2-xy-y^2-2y=0$$ denklemlerini inceleyelim.
$(-2,-2),(0,0)$ ın ilk eşitliği $0$ yaptığı görülebilir ve bu değerler elenir. $(2,-6)$ ve $(2,1)$ çözümdür. $1.$ denklem $x.(x-y)+1.(x-y)=0$ olur. $x=y$ veya $x=-1$ için sağlanır.
$2.$ denklem ise sonsuz çözüme sahip bir denklem. Bu yüzden payda $0$ durumlarını elemek için $x=-k.(k+1),y=k$ yerine koyup çözmek daha mantıklı. Yerine koyarsak $$k^4+3k^3+k^2-2k=k.(k+2).(k^2+k-1)=0$$ olur. Buradan $k=-2$ ve $k=0$ ı kümemizden elememiz gerektiğini buluruz. Denklemin çözüm kümesi
$$\{ (2,-6),(2,1),(-k^2-k,k) \},k\in \{Z \setminus \{0,-2\}\}$$ olarak bulunur.
Çok güzel bir soru olmuş , aklınıza sağlık 
