Expired Domains » News und Hintergründe » Seite 3

Domainliste mit Expiring Domains von pool.com

2010-04-25 - kostaki 5 Comments »

Da ich mich aktuell mit Expiring Domains von anderen TLDs (.com/.net) beschäftige und nicht mit der Suche nach diesen beginnen wollte, habe ich mir die Domainliste (domains deleting in the next 5 days) von Pool.com genauer angesehen. In dieser werden hauptsächlich .com/.net Domains veröffentlicht die bald gelöscht werden und die man über das Pool.com System Backordern kann. Die Liste enthält neben den genannten TLDs natürlich noch weitere, die ich aber erst mal ignoriere. Enthalten sind die CNOBI Domains (.com, .net, .org, .biz, .info), sowie .mobi, .ca, .us und sogar ein paar .de Domains. Wo die Dropdaten für .de Domains herkommen weiß ich nicht, aber sie scheinen eh nicht zu stimmen. Aktuell beobachte ich diese und wenn ich da mehr weiß veröffentliche es hier. Hier gibt es die Pool.com Liste zum Download.

Da keine Informationen zu der Veröffentlichungsrate zu finden waren, habe ich sie mir jede Stunde gezogen und dann verglichen ob sich etwas verändert hat. Aus den gesammelten Daten lässt sich ablesen das die Datei 4x am Tag aktualisiert wird und es reicht wenn man sie um 3 Uhr, 9 Uhr, 15 Uhr und 21 Uhr abruft. Das parsen der Domainliste ist auch keine große Kunst. Als erstes kommt der Domainname, dann das Expiration Date (glaube jedenfalls das es das sein soll) und dann noch etwas was ich nicht zuweisen kann. AUC steht vielleicht für Auktion?!? Ist jedenfalls bei jeder Domain das gleiche.

...
steelcitysixpack.com,4/16/2010 12:00:00 AM,AUC
steelers-shop.com,4/16/2010 12:00:00 AM,AUC
steelers-xl.com,4/16/2010 12:00:00 AM,AUC
steelfixertraining.com,4/16/2010 12:00:00 AM,AUC
...

Welche Amerikanische Zeitzone es sein soll habe ich auch nirgends finden können, aber .com/.net Domains sollen zwischen 11:00 und 12:00 PST (Pacific Standard Time) gelöscht werden. Das wäre hier in Deutschland (MEZ/CET) zwischen 20:00 und 21:00 Uhr. In den 8 Tagen die ich die Domainliste nun downloade, enthielt sie ~1.055.000 unterschiedliche Domains, wovon ~ 867.000 .com/.net sind (~1.800 .de Domains). Eine ähnliche Domainliste gibt es natürlich auch von den anderen großen Backorder Anbietern. Ob diese die gleichen Domains enthalten schau ich mir noch an.

Ich hab im übrigen mal den sehr netten Pool.com Service angeschrieben und nach der Verwendbarkeit der Domainliste gefragt (typisch Deutsch). Die Antwort war das sie sie ja frei ins Netz stellen, man sie also auch frei benutzen kann wozu man will. Es wurde aber darauf hingewiesen, das es sich nicht um die komplette Domainliste aller zum löschen anstehenden .com/.net Domains handelt, sondern nur um die Pool.com bekannten und relevanten. Die Datenbasis scheint eine Liste von der Registry (Verisign) zu sein, die man als normal Sterblicher aber scheinbar nicht zu Gesicht bekommt. Auf jeden Fall ein Anfang und mal sehen was man damit anfangen kann.

Peew, Peew, Peew

2010-04-11 - kostaki 9 Comments »

Ab und an bekomme ich die Frage gestellt was der Name Peew eigentlich bedeutet und warum ich diesen für diese Seite gewählt habe. Die erste Frage beantwortet das Urban Dictionary ganz gut:

The onomatopoeia sound a laser or other raygun like device makes.

Als ich das Projekt startete hatte ich die Wahl zwischen einer Keyword Domain und einem “Brandname”. Die Wahl fiel dann auf den Brandname, da er nicht sehr weit verbreitet ist, keine wirkliche Bedeutung hat und nicht geschützt ist. Außerdem war die .de Domain noch frei und mittlerweile konnte ich mir auch einen Großteil der anderen TLDs sichern. Im Nachhinein bin ich ganz froh über die Wahl und hoffe diese Seite weiter ausbauen zu können. Hier noch 2 Videos in denen *peew* verwandt wird.
Weiterlesen: Peew, Peew, Peew »

Auslastung der .org Domain Zone

2010-04-09 - kostaki 3 Comments »

Um die wichtigsten TLDs nun abzuschließen, gibt es jetzt noch die Zahlen der .org Domain Zone.

Einstellige .org Domains

Hier gab es nur 1 Treffer und das ist x.org, die Seite des Linux X Servers.

Zeichen	Total	Vergeben	%	Frei	%
Buchstaben	26	1	3,85%	25	96,15%
Zahlen	10	0	0,00%	10	100,00%
Gesamt	36	35	97,22%	1	2,78%

Zweistellige .org Domains

Zeichen	Total	Vergeben	%	Frei	%
Buchstaben	676	649	96,01%	27	3,99%
Zahlen	100	97	97,00%	3	3,00%
Gesamt	1.296	1.240	95,68%	56	4,32%

Dreistellige .org Domains

Zeichen	Total	Vergeben	%	Frei	%
Buchstaben	17.576	17.525	99,71%	51	0,29%
Zahlen	1.000	997	99,70%	3	0,30%
Gesamt	46.656	34.150	73,20%	12.506	26,80%

Vierstellige .org Domains

Zeichen	Total	Vergeben	%	Frei	%
Buchstaben	456.976	164.140	35,92%	292.836	64,08%
Zahlen	10.000	8.716	87,16%	1.284	12,84%
Gesamt	1.679.616	194.932	11,61%	1.484.684	88,39%

Fünfstellige .org Domains

Zeichen	Total	Vergeben	%	Frei	%
Buchstaben	11.881.376	302.022	2,54%	11.579.354	97,46%
Zahlen	100.000	2.080	2,08%	97.920	97,92%
Gesamt	60.466.176	332.612	0,55%	60.133.564	99,45%

Längere .org Domains

Zeichen	Total	Vergeben	%	Frei	%
6 Zahlen	1.000.000	1.012	0,10%	998.988	99,90%
7 Zahlen	10.000.000	283	0,00%	9.999.717	100,00%

Download Dmoz Domainliste aktualisiert

2010-04-04 - kostaki 1 Comment »

Heute habe ich die Dmoz Domainliste aktualisiert und im Vergleich zum Februar gab es im März wieder ein paar Veränderungen. 4.074 .de Domains haben es ins Dmoz geschafft und 1.611 mussten sich verabschieden. Es scheint also tatsächlich noch Aktivitäten im Dmoz zu geben. Ich hatte im letzten Monat ein bisschen Traffic aus dem Dmoz Forum. Leider ist es mit einem Passwort geschützt und so weiß ich nicht worum es ging, aber vielleicht wird ja über meinen Antrag beraten. Neben der üblichen .de Domainliste des Dmoz gibt es ab jetzt auch immer die aktuelle Dmoz CNOBI (com/net/org/biz/info) Domainliste zum Download.

Ach ja Frohe Ostern

Domainsuche und Domains pro Seite

2010-03-27 - kostaki 1 Comment »

Seit heute gibt es zwei Frontendanpassungen die sich hinter dem Filter Link verbergen. Dort gibt es jetzt eine Domainnamen Keyword Suche und man kann die Domainanzahl pro Seite erhöhen. Dies wurde mir nun schon von mehreren Seiten zugetragen. (Sorry das es so lange gedauert hat ) Sollte es noch andere Wünsche geben, hinterlasst mir ein Kommentar oder schickt mir eine Mail.

Auslastung der .net Domain Zone

2010-03-25 - kostaki 1 Comment »

Wie schon für die .de und .com Zone gibt es jetzt die Zahlen zur .net Zone. Erfasst habe ich sie schon Anfang des Monats und wie immer wurden alle Zahlen, Buchstaben und Kombinationen aus beidem bis zur fünften Stelle per DNS geprüft.

Einstellige .net Domains

Bei den Einstellern ist i.net vergeben und gehört der Inet Corp. Des weiteren ist noch q.net registriert. Wem sie gehört kann ich nicht sagen, da sie nicht im Browser auflöst und die Whois Informationen auch sehr seltsam aussehen. Die restlichen Domains sind wie schon bei .com gesperrt.

Zeichen	Total	Vergeben	%	Frei	%
Buchstaben	26	2	7,69%	24	92,31%
Zahlen	10	0	0,00%	10	100,00%
Gesamt	36	2	5,56%	34	94,44%

Zweistellige .net Domains

Auch hier gibt es 3 als “frei” markierte Domains, aber diese sind nicht Registrierbar (ich habs versucht ). Muss sich also um Fehler handeln. Es sind jw.net, w2.net und 2c.net.

Zeichen	Total	Vergeben	%	%
Buchstaben	676	676	100,00%	0,00%
Zahlen	100	100	100,00%	0,00%
Gesamt	1.296	1.296	100,00%	0,00%

Dreistellige .net Domains

Ob die Domains wirklich frei sind habe ich nicht gecheckt. Wer es machen möchte kann sich die Liste hier runter laden.

Zeichen	Total	Vergeben	%	Frei	%
Buchstaben	17.576	17.546	99,83%	30	0,17%
Zahlen	1.000	1.000	100,00%	0	0,00%
Gesamt	46.656	45.886	98,35%	770	1,65%

Vierstellige .net Domains

Auch hier gibt es die als frei gefundenen .net Domains als Liste.

Zeichen	Total	Vergeben	%	Frei	%
Buchstaben	456.976	228.959	50,10%	228.017	49,90%
Zahlen	10.000	9.939	99,39%	61	0,61%
Gesamt	1.679.616	297.103	17,69%	1.382.513	82,31%

Fünfstellige .net Domains

Zeichen	Total	Vergeben	%	Frei	%
Buchstaben	11.881.376	372.189	3,13%	11.509.187	96,87%
Zahlen	100.000	49.079	49,08%	50.921	50,92%
Gesamt	60.466.176	490.529	0,81%	59.975.647	99,19%

Längere .net Domains

Zeichen	Total	Vergeben	%	Frei	%
6 Zahlen	1.000.000	5.646	0,56%	994.354	99,44%
7 Zahlen	10.000.000	1.825	0,02%	9.998.175	99,98%

.de Domainliste erweitern

2010-03-19 - kostaki 5 Comments »

Im Artikel .de Domain Liste erstellen ohne Zone File habe ich beschrieben wie man sich eine Ausgangsbasis schaffen kann. In diesem Post möchte ich einige weitere Quellen für .de Domains aufzeigen und kurz erklären. Wie schon geschrieben sind Domainlisten oder große Ansammlungen von Links die besten Quellen. Wenn diese auch noch leicht zu parsen sind, dann sollte man zuschlagen.

Backlink Datenbanken

Für peew.de brauche ich sowieso die Anzahl an Yahoo Backlinks um sie in der Auflistung anzuzeigen. Bei jedem Aufruf sind auch gleich 100 Links mit bei die ich mir natürlich nicht entgehen lasse. Außerdem kann man über die Exportfunktion des Site Explorers 1000 Backlinks der Domain auslesen. Man sollte es nicht übertreiben, da man ansonsten den berüchtigten Yahoo “Error 999″ zu Gesicht bekommt und für eine Weile gesperrt wird. Mit 10 Anfragen pro Minute pro IP fahre ich aber ganz gut. Weiterhin ist wichtig eine Länder Site Explorer Version zu benutzen, da diese nicht so viele Backlinks doppelt ausspuckt. Da man ja nur 1000 Links bekommt, möchte man natürlich keine großen Doppelungen haben.

Der normale Site Explorer Aufruf.

Der Kanadische Site Explorer. Die deutsche Version geht im übrigen auch.

Die gleiche Art Anfrage kann man natürlich auch an andere Suchmaschinen schicken. Ich mache es außerdem noch mit Altavista, wobei diese nicht wirklich ergiebig ist (ca. 20k neue Domains gefunden bisher).

Alexa API

Die Alexa API brauche ich natürlich für den Alexa Traffic Rank und bei diesen Abfragen sind meistens noch Related Links enthalten.

Bing Suche nach IP Adressen

Den Reverse IP Domain Check kennt sicher jeder, aber wie kommt er an die Daten ran? Hierfür gibt es eine Bing IP Suche die einem Bing bekannte Links auf der angegebenen IP zurück gibt. Die normale Seite lässt sich schon recht gut parsen, aber nur in etwa die ersten 400 Treffer. Danach gibt es eine Bot Protection die es schwerer macht. Das gleiche kann man aber auch über die Bing API abfragen wenn man eine Bing APP-ID hat. Über die API bekommt man immerhin 1000 Treffer pro IP und das ist schon recht ergiebig.

DNS Checks

Für die Zonen Auslastungsstatistiken überprüfe ich ja Muster auf einen vorhandenen DNS Status. Alles was hierbei gefunden wird, wird ebenfalls ins System gespeist. Der Check für die .de Zone hat ca 400k neue Domains gebracht. Auch andere TLDs sind interessant. Ich sammle seit einiger Zeit nicht nur .de Domains, sondern auch einige andere TLDs. Die Wahrscheinlichkeit ist recht hoch das bei einer vergebenen CNOBI Domain auch die .de Domain vergeben ist. Das letzte mal das ich dies geprüft habe ist schon eine Weile her, aber über diese Abfrage wurden über 800k neue .de Domains gefunden.

eigener Web Crawler

Ich habe lange nach einem Web Crawler gesucht den ich in mein System integrieren kann, aber bin nicht fündig geworden. Deshalb habe ich einen eigenen geschrieben. Dieser ruft aktuell nur die Startseite der bekannten Domains auf (nur wenn es die Robots.txt erlaubt versteht sich) und parsed die enthaltenen externen Links. Nur von den Startseiten wurden immerhin 200k neue .de Domains gefunden.

Whois Seiten

Es gibt ja eine ganze Menge an Whois Seiten im Netz und die meisten dieser Seiten speichern die Anfragen zwischen. Man mag ja halten was man will davon aber auch diese Seiten sind ergiebige Domainlieferanten. Man kann zwar nicht alles nehmen was sie ausspucken, aber nach einer Filterung habe ich immerhin 100k neue .de Domains gefunden. Beispiel: whois.de, whoisbucket.com

Weitere Quellen

Webseiten zum Thema Domains gibt es viele und umso mehr Domains sie haben umso interessanter werden sie
Suchmaschinen Suche nach Keywords

Fazit und Aussichten

Meine Domainliste wächst Tag für Tag um mehrere tausend Domains, aber ich bin noch immer weit von der 13 Millionen .de Domain Grenze entfernt. Wenn jemand noch weitere Quellen kennt freue ich mich über einen Hinweis. Ich werde natürlich weiter suchen, aber sind Domains die ich auf diesen Wegen nicht finde überhaupt interessant im Hinblick auf Expired Domains? Der Ehrgeiz treibt mich natürlich weiter voran!

Auslastung der .com Domain Zone

2010-03-02 - kostaki No Comments »

Vor gut 3 Monaten habe ich eine Statistik über die Auslastung der .de Domain Zone erstellt und wollte eigentlich sofort im Anschluss weitere TLDs checken. Leider bin ich dann nicht mehr dazu gekommen und habe es vergessen auch weil andere Dinge wichtiger waren. An diesem Wochenende habe ich es aber doch geschafft die ca. 72 Millionen DNS Anfragen durchlaufen zu lassen. Geprüft wurden wieder alle Zahlen, Buchstaben und Kombinationen aus beidem bis zur fünften Stelle. Außerdem noch 6 und 7 stellige Zahlendomains. Hier nun die Ergebnisse.

Anmerkung: Zur Ermittlung der Zahlen wurden DNS Anfragen gestellt. Bei .com Domains die gekündigt oder nicht bezahlt wurden kann es sein das diese keinen DNS Eintrag mehr haben, aber deshalb noch nicht frei sind. Außerdem gibt es einige Domains die nicht richtig konnektiert sind und deshalb bei meinen Checks als frei angezeigt wurden. Bei den kürzeren Domains habe ich deshalb noch stichprobenartig die als frei geltenden Domains per Whois geprüft. Es gibt aber trotzdem eine gewisse Fehlerquote, aber wenn ich mir das so überlege, dann gibt es die bei .de Domains auch.

Einstellige .com Domains

Bei den einstelligen Domains sind nur 3 vergeben worden, die anderen werden zurück gehalten oder für technische Zwecke gesperrt. Aktuell registriert sind q.com von Quest, x.com von ebay/paypal und z.com von Nissan.

Zeichen	Total	Vergeben	%	Frei	%
Buchstaben	26	3	11,54%	23	88,46%
Zahlen	10	0	0,00%	10	100,00%
Gesamt	36	3	8,33%	33	91,67%

Zweistellige .com Domains

Bei den zwei Stellern war mir das Ergebnis klar. Der einzige Ausrutscher ist y4.com. Die Domain wird als frei angezeigt, aber man kann sie trotzdem nicht registrieren. Scheint also fehlerhaft zu sein.

Zeichen	Total	Vergeben	%	%
Buchstaben	676	676	100,00%	0,00%
Zahlen	100	100	100,00%	0,00%
Gesamt	1.296	1.296	100,00%	0,00%

Dreistellige .com Domains

Hier haben 150 Domains einen negativen DNS Status durch falsche Konnektierung oder eben weil sie bald auslaufen. Ich habe wie gesagt nur stichprobenartig gecheckt, wer sie sich selbst ansehen möchte kann sich diese Liste runter laden. Ich werte sie hier trotzdem als komplett vergeben.

Zeichen	Total	Vergeben	%	%
Buchstaben	17.576	17.576	100,00%	0,00%
Zahlen	1.000	1.000	100,00%	0,00%
Gesamt	46.656	46.656	100,00%	0,00%

Vierstellige .com Domains

Bei den vierstelligen Domains gibt es bei den Kombinationen noch sehr viele freie Domains. Bei den nur Buchstaben-/Zahlendomains werden auch wieder ein paar ohne DNS Status ausgegeben, aber auch hier sollten alle noch einen Besitzer haben. Wer sie checken möchte kann die folgenden Listen benutzen:

Vierstellige .com Buchstabendomains ohne DNS Status (2.627)
Vierstellige .com Zahlendomains ohne DNS Status (59)
Vierstellige .com Domains ohne DNS Status (700.467)

Zeichen	Total	Vergeben	%	Frei	%
Buchstaben	456.976	454.349	99,43%	2.627	0,57%
Zahlen	10.000	9941	99,41%	59	0,59%
Gesamt	1.679.616	979.149	58,30%	700.467	41,70%

Fünfstellige .com Domains

Ab den fünfstelligen Domains lohnen sich die DNS Checks eigentlich nicht mehr. Interessant ist trotzdem das während bei .de Domains gerade einmal 1,70% der Buchstaben Domains weg waren, das es bei .com Domains bereits 11,63% sind, was aber immer noch weniger ist als ich erwartet hatte. Ab hier habe ich mir auch die Listen gespart, da sie mittlerweile recht groß wurden. Wenn Interesse besteht, kann ich diese aber nachliefern.

Zeichen	Total	Vergeben	%	Frei	%
Buchstaben	11.881.376	1.382.276	11,63%	10.499.100	88,37%
Zahlen	100.000	89.975	89,98%	10.025	10,03%
Gesamt	60.466.176	1.834.516	3,03%	58.631.660	96,97%

Längere .com Domains

Die 6 stelligen Buchstaben Domains habe ich mir mal gesparrt, da eigentlich schon die fünf stelligen Resourcen Verschwendung sind und das sind ja 6^26 = 308.915.776 Möglichkeiten.

Zeichen	Total	Vergeben	%	Frei	%
6 Zahlen	1.000.000	45.395	4,54%	954.605	95,46%
7 Zahlen	10.000.000	21.397	0,21%	9.978.603	99,79%

Fazit

Die Auslastung ist größer als bei den .de Domains, was ja auch zu erwarten war, aber nicht so groß wie ich gedacht habe. Als nächstes steht .net und .org an.

DNS Checks und gelöschte Domains

2010-02-27 - kostaki 4 Comments »

In letzter Zeit bekomme ich öfter die Frage gestellt, warum ich die Expired Domains immer in Schüben veröffentliche. Der Hintergedanke ist sicher das ich die frisch gelöschten Domains erst vor filtere und dann alles was mir nicht gefällt veröffentliche, aber dem ist nicht so. Alle Expired Domains werden sofort nach der Erkennung hier gepostet! Das sie immer in Schüben kommen hat mit der eingesetzten Technik zu tun und das möchte ich hier einmal näher erklären, da es auch bei der Benutzung dieser Seite hilft.

Zum Auffinden von frisch gelöschten Domains setze ich DNS Anfragen ein. Ist die Anfrage für eine beim letzten Check positiv geprüfte Domain nun fehlerhaft, dann ist die Wahrscheinlichkeit groß das es sich um eine Expired Domain handelt und sie wird hier veröffentlicht. Nun muss man bei .de Domains nicht die ganze Zeit prüfen, da die .de Zone nur alle 2 Stunden aktualisiert wird. Es reicht also aus wenn man jede Domain einmal nach dem DNS Zoneupdate prüft um zu erkennen ob sie gelöscht wurde oder nicht. Nach meinen Beobachtungen, ist das Update zwischen Minute 10-25 zu ungeraden Stunden, also zum Beispiel 1:18, 3:23, 5:17, 7:20 und so weiter. Um so näher man die DNS Checks zu diesem Zeitpunkt bekommt umso größer ist die Chance das man der erste ist der die Domain droppen sieht. Da es nicht immer der gleiche Zeitpunkt ist, ist es eine Art Glücksspiel ob man genau die richtige Domain zum richtigen Zeitpunkt prüft.

Nun checke ich auf peew.de nicht für mich selbst und schließe deshalb auch keine Domains aus, was zu einer sehr großen Domainliste führt. Diese kann ich natürlich nicht jede Minute prüfen, aber ich brauche auch keine 2 Stunden dafür und deshalb tauchen die Domains immer in Wellen hier auf. Es bringt also nichts 24/7 alle 30 Sekunden die Seite zu aktualisieren. Will man peew.de effektiv nutzen, muss man zu einer ungeraden Stunde zwischen Minute 15 und 40 mal vorbei gucken. Das Spektakel ist aktuell meistens zu Minute 40-45 durch und in der restlichen Zeit passiert hier so gut wie nichts.

Noch ein Tipp für Leute die Domains automatisch snappen wollen. Alle großen Domaingrabber benutzen DNS Checks um Expired Domains zu finden und zu registrieren. Das sieht man sehr gut am Registrierdatum der Domains. Diese liegen meist sehr nah an einem DNS Zoneupdate. Hat man nun eine überschaubare Domainliste, dann muss man diese nur vor dem Zoneupdate direkt prüfen um auf der sicheren Seite zu sein.

br.de wird heute vergeben!

2010-02-18 - kostaki 1 Comment »

br.de und noch 9 andere Kurz Domains wurden ja von der Vergabe durch die DENIC letztes Jahr zurück gehalten, da sie mit einstweiligen Verfügungen belegt wurde. Im Fall br.de war es anscheinend der Bayrische Rundfunk der die Vergabe stoppte. Heute ist jedenfalls für br.de das warten vorbei, den die DENIC wird diese Domain am Donnerstag den 18.02.2010 um 15:00 Uhr (deutsche Zeit) vergeben. Dieses mal kann jeder teilnehmen der ein FAX besitzt und wieder wird von First Come First Serve gesprochen, aber wie bei der Ursprünglichen Vergabe, gibt es keine Beobachter, Logs oder sonstiges. Es bleibt zu hoffen das alles mit rechten Dingen und ohne Probleme zugehen wird. Wie man genau teilnimmt steht in den folgenden Links. Also lasst die FAX Leitung glühen und Glückwunsch dem Gewinner dieses Lottospiels.

*Update*

And the Winner is: Bayerischer Rundfunk AdÖR! Was ein Zufall… Na ja der Bayrische Rundfunk ist ja bekannt für seine ausgeklügelten FAX Anlagen.