Skip to main content
07. Nov 2009

.de Domain Liste erstellenDomain Liste ohne Zone File erstellen

Eine volle Domainliste ist die Ausgangsbasis für jeden der nach Expired Domains suchen möchte, aber wo genau kann man diese eigentlich herunterladen? Wenn es um .de Domains geht ist es leider nicht so einfach. Bei .com/.net und vielen anderen TLDs gibt es die Möglichkeit das DNS Zone File zu bekommen. Aus diesem kann man sich dann eine komplette Domainliste erstellen. Bei .de Domains gibt es diese Option leider nicht. Hier verwaltet die DENIC die Zone Files allein und gibt sie nicht an die Öffentlichkeit weiter. Ob dies für immer so sein wird weiß ich natürlich nicht. Ich hätte auch nicht mit der Freigabe der kurzen .de Domains gerechnet, aber das ging dann auch recht schnell, also vielleicht ändert die DENIC auch bei den Zone Files irgend wann ihre Einstellung. Nichts desto trotz muss man aktuell anders an seine Domainliste kommen. Hier nun also eine kurze Anleitung wie ich begonnen habe.

Domain Muster

Ein guter Anfang ist es Muster zur Liste hinzuzufügen. Das sind eh die interessantesten (aber auch die die am seltensten gelöscht werden). Die ein bis vierstellige Buchstaben und Zahlendomains reichen für den Anfang. Natürlich fügt man sich auch ein paar freie hinzu, aber die werden auch irgend wann registriert und somit auch irgend wann gelöscht.

Dmoz - ODP - Open Directory Project

Als nächstes kann man sich frei zugängliche Listen von Domains ansehen die man leicht parsen kann. Hier dachte ich als erstes ans Dmoz, da man das komplette Verzeichnis herunter laden kann. Hier der Link zu den Dmoz RDFs. Da das RDF für den Anfang nur schwer verdaulich ist, gibt es hier eine schon geparste MySQL Version die monatlich aktualisiert wird. Das bietet einem einen Einblick ins Dmoz Verzeichnis und außerdem gewinnt man ca. 300.000 weitere .de Domains. Eine aktuelle Version der dmoz .de Domainliste veröffentliche ich regelmäßig hier.

Wikipedia externallinks

Das gleiche kann man nun auch mit der Wikipedia machen. Wikipedia bietet sofort alle nötigen Daten als MySQL Dump und für unsere Zwecke reicht es die externallinks Archive (deutsch/englisch) herunter zu laden:

Diese Files lohnen sich nicht wirklich. Sie enthalten zwar eine Menge Links, aber dafür nur recht wenige unterschiedliche Domains. Die deutsche Datei hat derzeit ca 4,2 Mio Links und die englische 24 Mio Links und nach dem parsen bleiben ca 290.000 .de Domains übrig.

Alexa Top Million List

Ein weiterer Anbieter von Domainlisten ist Alexa. Alexa bietet seine Top Domainliste seit einiger Zeit frei zum download an. Sie enthält 1 Million Domains die nach Alexa Tracking sehr Traffic stark sind. Nun wird Platz 1 - 1000 sicher nicht so schnell gelöscht werden, aber darum geht es ja erstmal auch nicht. Die Liste kann man hier runter laden und sie wird täglich aktualisiert.

CrSystem .de Domains

Von einen absoluten Kracher habe ich erst vor kurzem erfahren. So stellt CrSystem unter crsystem.de seinen Domainpool für jedermann zum Download bereit. Hier findet man derzeit 1,9 Mio .de Domains. Nun decken sich diese Domains schon zum Teil mit den anderen Listen, aber ich konnte immerhin 300.000 neue Domains zu meinem System hinzufügen. Hier nochmal Danke an CrSystem für das tolle Projekt.

Abschluss

Jetzt hat man einen recht guten Domainpool mit dem man anfangen kann. Entweder man haut sie jetzt direkt durch einen Crawler oder man fragt Suchmaschinen ab um mögliche neue Domains in den dort gespeicherten Backlinks zu finden. Ab diesem Punkt ist Kreativität gefragt und eine Art Schatzsuche nach den nicht so öffentlichen Domains beginnt. Einen Tipp noch: Da die oben genannten Listen sich öfter aktualisieren, ist es sinnvoll fertige Scripte zu schreiben, die vom Download bis zum parsen alles automatisch machen. So muss man sich nicht immer wieder erneut mit den Domainlisten herumschlage.

Related Links