Bu soruyu $a>b$ olup olmamasına göre iki parçada inceleyelim.
$1)$ $1\le a\le b$ için çözüme bakalım.
$a\le b$ olduğunu kullanarak eşitsizlik kurmayı hedefleyelim.
$(a^b)^b=b^a$ şeklinde yazabiliriz. $a\le b$ den dolayı $a^b\le b $ olmazsa çözümün olamayacağı açıktır.
$a^b-b$ ifadesinin türevini alalım. $\dfrac {d}{db} (a^b-b)=1.a^b.lna-1$ $b>a>e$ için $lna>1$ ve $a^b>1$ olacağı için türev $0$'dan büyüktür Mesela $b=3$ alacak olursak $a^3-3>0$ olduğunu gösterirsek $a^b-b$ nin daima pozitif olduğunu göstermiş oluruz.
$a>e>2$ $a^3>8$ yani $a^3-3>0$ elde edilir. Yani $a=1$ ya da $a=2$ olmalıdır.
$a=1$ olsun. O halde $b=1$ olması gerektiği açıktır.
$a=2$ olsun. $2^{b^2}=b^2$ $b^2=t$ dönüşümü yapalım. $2^t=t$, $2^t-t=0$ Şimdi bu ifade için türeve bir kez daha bakalım.
$2^t.ln2-1$ olur. Bu ifadeyi ise $ln2^{2^t}-1$ şeklinde yazdıktan sonra $t>1$ için türevin $0$ dan büyük olacağı açıktır. Aynı zamanda $2^2-2>0$ da sağlandığından dolayı daima $t>1$ için daima pozitiftir. $t=1$ in de sağlamadığı açıktır.
$2)$ şimdi de $b>a\ge 1$ olsun.
$a^{b^2}=b^a=(a^b)^b$ den dolayı $a>b^2$ gelir yani $\dfrac{a}{b^2}>1$ elde edilir. Acaba $a=k.b^2$ eşitliğindeki $k$ sayısı daima bir pozitif tam sayı olabilir mi diye düşünelim.
$(ab^{-2})^{b^2}=b^{a-2b^2}$ şeklinde yazarsak $ab^{-2}>1$ olduğu için $a-2b^2>0$ olacağı açıktır. $a>2b^2$ olur.
$\dfrac{a}{b^2}=\dfrac{k}{n}$ ,$k,n\in Z^+$ ve $(k,n)=1$ olsun. Buradan $n.a.b^{-2}=k$ elde edilir.
Aşağıdaki adımları takip edelim.
$$k^{b^2}=n^{b^2}.a^{b^2}.(b^{-2})^{b^2}=n^{b^2}=n^{b^2}.b^{a-2b^2}$$ bu ifadeden dolayı $n\mid k$ olması gereklidir. $(k,n)=1$ olduğundan dolayı $n=1$ alınmalıdır. Artık $a=k.b^2$ $a>2b^2$ yani $k\ge3,k\in Z^+$ olduğunu biliyoruz.
Bunu başlangıçtaki denklemde yerine koyacak olursak $k^{b^2}=(b^{k-2})^{b^2}$ olmalıdır. buradan $k=b^{k-2}$ buluruz.
$k\ge 5$ için $b^{k-2}-k\ge 2^{k-2}-k$ olur. $\dfrac{d}{dk}( 2^{k-2}-k)=(k-2).2^{k-2}.ln2-1$ yani $2^{k-2}.ln2^{k-2}-1>0$ $k=5$ için ise $2^3-5=3>0$ olduğundan $k<5$ olmalıdır.
$k=3$ ise $3b^2=b^3$ yani $b=3$ elde edilir. $a=kb^2=27$ olur. $(27,3)$ çözümü gelir.
$k=4$ ise $4b^2=b^4$ yani $b=2$ elde edilir. $a=16$ olur. $(16,2)$ çözümü gelir.
O halde denklemin çözüm kümesi $\{(1,1),(27,3),(16,2) \}$ olmalıdır.
