Eine volle Domainliste ist die Ausgangsbasis für jeden der nach Expired Domains suchen möchte, aber wo genau kann man diese eigentlich herunterladen? Wenn es um .de Domains geht ist es leider nicht so einfach. Bei .com/.net und vielen anderen TLDs gibt es die Möglichkeit das DNS Zone File zu bekommen. Aus diesem kann man sich dann eine komplette Domainliste erstellen. Bei .de Domains gibt es diese Option leider nicht. Hier verwaltet die DENIC die Zone Files allein und gibt sie nicht an die Öffentlichkeit weiter. Ob dies für immer so sein wird weiß ich natürlich nicht. Ich hätte auch nicht mit der Freigabe der kurzen .de Domains gerechnet, aber das ging dann auch recht schnell, also vielleicht ändert die DENIC auch bei den Zone Files irgend wann ihre Einstellung. Nichts desto trotz muss man aktuell anders an seine Domainliste kommen. Hier nun also eine kurze Anleitung wie ich begonnen habe.
Domain Muster
Ein guter Anfang ist es Muster zur Liste hinzuzufügen. Das sind eh die interessantesten (aber auch die die am seltensten gelöscht werden). Die ein bis vierstellige Buchstaben und Zahlendomains reichen für den Anfang. Natürlich fügt man sich auch ein paar freie hinzu, aber die werden auch irgend wann registriert und somit auch irgend wann gelöscht.
Dmoz - ODP - Open Directory Project
Als nächstes kann man sich frei zugängliche Listen von Domains ansehen die man leicht parsen kann. Hier dachte ich als erstes ans Dmoz, da man das komplette Verzeichnis herunter laden kann. Hier der Link zu den Dmoz RDFs. Da das RDF für den Anfang nur schwer verdaulich ist, gibt es hier eine schon geparste MySQL Version die monatlich aktualisiert wird. Das bietet einem einen Einblick ins Dmoz Verzeichnis und außerdem gewinnt man ca. 300.000 weitere .de Domains. Eine aktuelle Version der dmoz .de Domainliste veröffentliche ich regelmäßig hier.
Wikipedia externallinks
Das gleiche kann man nun auch mit der Wikipedia machen. Wikipedia bietet sofort alle nötigen Daten als MySQL Dump und für unsere Zwecke reicht es die externallinks Archive (deutsch/englisch) herunter zu laden:
- dewiki-latest-externallinks (113.5M)
- enwiki-latest-externallinks (609.6M)
Diese Files lohnen sich nicht wirklich. Sie enthalten zwar eine Menge Links, aber dafür nur recht wenige unterschiedliche Domains. Die deutsche Datei hat derzeit ca 4,2 Mio Links und die englische 24 Mio Links und nach dem parsen bleiben ca 290.000 .de Domains übrig.
Alexa Top Million List
Ein weiterer Anbieter von Domainlisten ist Alexa. Alexa bietet seine Top Domainliste seit einiger Zeit frei zum download an. Sie enthält 1 Million Domains die nach Alexa Tracking sehr Traffic stark sind. Nun wird Platz 1 - 1000 sicher nicht so schnell gelöscht werden, aber darum geht es ja erstmal auch nicht. Die Liste kann man hier runter laden und sie wird täglich aktualisiert.
CrSystem .de Domains
Von einen absoluten Kracher habe ich erst vor kurzem erfahren. So stellt CrSystem unter crsystem.de seinen Domainpool für jedermann zum Download bereit. Hier findet man derzeit 1,9 Mio .de Domains. Nun decken sich diese Domains schon zum Teil mit den anderen Listen, aber ich konnte immerhin 300.000 neue Domains zu meinem System hinzufügen. Hier nochmal Danke an CrSystem für das tolle Projekt. Ich freue mich auf weitere Updates 
Abschluss
Jetzt hat man einen recht guten Domainpool mit dem man anfangen kann. Entweder man haut sie jetzt direkt durch einen Crawler oder man fragt Suchmaschinen ab um mögliche neue Domains in den dort gespeicherten Backlinks zu finden. Ab diesem Punkt ist Kreativität gefragt und eine Art Schatzsuche nach den nicht so öffentlichen Domains beginnt. Einen Tipp noch: Da die oben genannten Listen sich öfter aktualisieren, ist es sinnvoll fertige Scripte zu schreiben, die vom Download bis zum parsen alles automatisch machen. So muss man sich nicht immer wieder erneut mit den Domainlisten herumschlage.
Da auch ich immer auf der Suche nach weiteren Domainlisten bin, hier der Aufruf an alle die mir helfen wollen. Wer Domainlisten hat oder Orte kennt an denen sie veröffentlicht werden, bitte hinterlasst mir ein Kommentar, schreibt mir ne Mail oder schickt mir nen Brief. Besonders interessant sind natürlich .de Domains.
Related Links
- Dmoz RDF Download
- Dmoz RDFs to MySQL Dump Download
- Wikipedia Download
- Alexa Top 1 Million Download
- CrSystem Download
PeewDomains on Twitter
Wo kann man sich den das Zonefile für .com/.net runter laden? Hast du dafür vielleicht auch einen Link?
Hi Riko. Die Zone Files kann man nicht so ohne weiteres einfach runter laden. Verisign verwaltet die Zone Files und auch den Zugriff auf diese. Man muss sich also bei Verisign akkreditieren lassen um Zugang zum Zone Files FTP zu bekommen. Hier gibt es weitere Informationen dazu:
Verisign TLD Zone File Access
Als ich das erste mal davon gehört habe, dachte ich das man das als Privatperson wohl nicht schaffen kann, aber ich habe nun schon einige Beispiele gesehen bei denen Leute Zugriff auf diese Files hatten. Die müssen es also auch geschafft haben. Sobald ich einen weiteren Server zur Verfügung habe, werde ich es auch probieren und dann hier mehr Informationen dazu veröffentlichen.
Wie ergiebig ist den die Alexa Top Liste? Hast du dazu auch ein paar Zahlen?
Puh hab ich jetzt nicht drauf geachtet… Werde ich beim nächsten Update aber mal machen und dann veröffentlichen.
Es gab am 04.11. ein Update bei CrSystem. Er hat nun die 2 Millionen Marke geknackt
CrSystem hat heute wieder ein Update geuppt, nun 2.1 Millionen Domains =)
[...] Domains angezeigt. Der abgefragte Domainpool ist ziemlich groß, aber dazu findet ihr im Blog von peew.de [...]
Hey, sehr hilfreiche Infos, danke dir dafür.
PS: der Linktext um den wikipedia EN download sollte “enwiki-latest-externallinks” heißen
Danke ist gefixt.
Wir verfügen über eine Datenbank (oder Textdatei) mit über 10 Millionen registrierten .de-Domains. Der Datenbestand vergrößert sich täglich.
Die Datenbank stammt aus Lizenz- und Urheberrechtsgründen nicht von der DENIC e. G., wurde auch nicht über deren WHOIS-Server ermittelt, aus Zonefiles ausgelesen oder anderweitig illegal erworben. Stattdessen generieren derzeit 16 eigenständige Crawler-Server (selbst entwickelt) rund um die Uhr neue Einträge für diese Datenbank.
Da wir großen Wert darauf legen, dass die Datenbank nicht zu Spam- oder anderen illegalen Zwecken missbraucht wird, soll bei der Anfrage per E-Mail bitte der geplante Verwendungszweck genannt werden.
Es wird natürlich auch ein täglicher Update-Service angeboten, da sich der Datenbestand alle paar Minuten verändert.
Laut Anbieter gibt es drei mögliche Bezugsformen:
1. Datenbank mit oder ohne Update-Service zur ausschließlich hausinternen Verwendung, also nicht für öffentliche Dienste wie Verzeichnisse, Suchmaschinen, Expired-Domain-Dienste, Backorder-Services usw. (Weitergabe der Datenbank an Dritte unzulässig)
2. Datenbank mit oder ohne Update-Service zur öffentlichen Verwendung in o. g. Projekten (Weitergabe der Datenbank an Dritte unzulässig)
3. Datenbank mit oder ohne Update-Service zur öffentlichen Verwendung inkl. Rechte zur Weitergabe der Datenbank an Dritte
Bitte die Anfrage an die E-Mail-Adresse domainliste (at) gmx (punkt) de senden, unter Angabe des geplanten Verwendungszwecks (siehe oben), der benötigten Anzahl sowie der Preisvorstellung.
Für .org kann man auch ein Zone Fil wohl bekommen. siehe URL http://www.pir.org/help/access
Hmm, CrSystem kostet jetzt die Liste € 59,90
[...] Peew.de Auf peew.de beschäftigt sich Marco Schmidt mit dem Thema Expired Domains und hat eine wirklich tolle Seite geschaffen. Er veröffentlicht dort freigewordene .de Domains (ermittelt über DNS-Abfragen) sowie freiwerdende CNOBI-Domains. Das beste ist allerdings der Blog, in dem beinahe jeder Artikel wichtige Informationen zum snappen von .de-Domains enthält, z.B. wie man eine Domain-Datenbank aufbaut. [...]