Počítáš to blbě.
Ty nemáš vzorec 1 mod 3120.
Za prvé: φ(n) není 3120, hledáš φ(3120), což je 768. Použij program na výpočet Eulerovy funkce.
Za druhé: Hledáš d takové, aby platilo de ≡ 1 (mod φ(n)), česky řečeno, hledáš číslo d, které vynásobeno sedmnácti (e = 17) dá stejný zbytek po dělení sedmsetšedesátiosmi, jako jednička dělená sedmsetšedesátiosmi. Protože 1/768 = 0, zbytek 1,

můžeme to přepsat takhle:
17d ≡ 1 (mod 768)

tzn. hledáš d, pro které platí 17d/768 = cokoli, zbytek 1

Teď si dám pauzu, musím to po sobě zkontrolovat. Matematiku jsem totiž nestudoval. Pokračování možná zase za nějaký čas, pokud mě neopraví někdo chytřejší.

Průběžně edituju, už jsem si tam našel jednu koninu