Na vytvoření poddomény s vlastním DNS serverem potřebuješ vytvořit delegaci (záznamy NS) na DNS serveru své domény. Následně si pak už založíš vlastní DNS se SOA, atd. Více zde:
https://serverfault.com/questions/275982/what-type-of-dns-record-is-needed-to-make-a-subdomain