Skip to main content
09. Mär 2010

.de Domainliste erweiternAnsatzpunkte für die Vergrößerung der eigenen .de Domainliste

Im Artikel .de Domain Liste erstellen ohne Zone File habe ich beschrieben wie man sich eine Ausgangsbasis schaffen kann. In diesem Post möchte ich einige weitere Quellen für .de Domains aufzeigen und kurz erklären. Wie schon geschrieben sind Domainlisten oder große Ansammlungen von Links die besten Quellen. Wenn diese auch noch leicht zu parsen sind, dann sollte man zuschlagen.

Backlink Datenbanken

Für peew.de brauche ich sowieso die Anzahl an Yahoo Backlinks um sie in der Auflistung anzuzeigen. Bei jedem Aufruf sind auch gleich 100 Links mit bei die ich mir natürlich nicht entgehen lasse. Außerdem kann man über die Exportfunktion des Site Explorers 1000 Backlinks der Domain auslesen. Man sollte es nicht übertreiben, da man ansonsten den berüchtigten Yahoo "Error 999" zu Gesicht bekommt und für eine Weile gesperrt wird. Mit 10 Anfragen pro Minute pro IP fahre ich aber ganz gut. Weiterhin ist wichtig eine Länder Site Explorer Version zu benutzen, da diese nicht so viele Backlinks doppelt ausspuckt. Da man ja nur 1000 Links bekommt, möchte man natürlich keine großen Doppelungen haben.

Yahoo Site Explorer Normal
Yahoo Site Explorer Normal

Die gleiche Art Anfrage kann man natürlich auch an andere Suchmaschinen schicken. Ich mache es außerdem noch mit Altavista, wobei diese nicht wirklich ergiebig ist (ca. 20k neue Domains gefunden bisher).

Alexa API

Die Alexa API brauche ich natürlich für den Alexa Traffic Rank und bei diesen Abfragen sind meistens noch Related Links enthalten.

Bing Suche nach IP Adressen

Den Reverse IP Domain Check kennt sicher jeder, aber wie kommt er an die Daten ran? Hierfür gibt es eine Bing IP Suche die einem Bing bekannte Links auf der angegebenen IP zurück gibt. Die normale Seite lässt sich schon recht gut parsen, aber nur in etwa die ersten 400 Treffer. Danach gibt es eine Bot Protection die es schwerer macht. Das gleiche kann man aber auch über die Bing API abfragen wenn man eine Bing APP-ID hat. Über die API bekommt man immerhin 1000 Treffer pro IP und das ist schon recht ergiebig.

DNS Checks

Für die Zonen Auslastungsstatistiken überprüfe ich ja Muster auf einen vorhandenen DNS Status. Alles was hierbei gefunden wird, wird ebenfalls ins System gespeist. Der Check für die .de Zone hat ca 400k neue Domains gebracht. Auch andere TLDs sind interessant. Ich sammle seit einiger Zeit nicht nur .de Domains, sondern auch einige andere TLDs. Die Wahrscheinlichkeit ist recht hoch das bei einer vergebenen CNOBI Domain auch die .de Domain vergeben ist. Das letzte mal das ich dies geprüft habe ist schon eine Weile her, aber über diese Abfrage wurden über 800k neue .de Domains gefunden.

eigener Web Crawler

Ich habe lange nach einem Web Crawler gesucht den ich in mein System integrieren kann, aber bin nicht fündig geworden. Deshalb habe ich einen eigenen geschrieben. Dieser ruft aktuell nur die Startseite der bekannten Domains auf (nur wenn es die Robots.txt erlaubt versteht sich) und parsed die enthaltenen externen Links. Nur von den Startseiten wurden immerhin 200k neue .de Domains gefunden.

Whois Seiten

Es gibt ja eine ganze Menge an Whois Seiten im Netz und die meisten dieser Seiten speichern die Anfragen zwischen. Man mag ja halten was man will davon aber auch diese Seiten sind ergiebige Domainlieferanten. Man kann zwar nicht alles nehmen was sie ausspucken, aber nach einer Filterung habe ich immerhin 100k neue .de Domains gefunden. Beispiel: whois.de, whoisbucket.com

Weitere Quellen

  • Webseiten zum Thema Domains gibt es viele und umso mehr Domains sie haben umso interessanter werden sie
  • Suchmaschinen Suche nach Keywords

Fazit und Aussichten

Meine Domainliste wächst Tag für Tag um mehrere tausend Domains, aber ich bin noch immer weit von der 13 Millionen .de Domain Grenze entfernt. Wenn jemand noch weitere Quellen kennt freue ich mich über einen Hinweis. Ich werde natürlich weiter suchen, aber sind Domains die ich auf diesen Wegen nicht finde überhaupt interessant im Hinblick auf Expired Domains? Der Ehrgeiz treibt mich natürlich weiter voran!