Bei der Suche nach .com-Domains war ich frustriert darüber, wie viele bereits registriert sind, aber anscheinend ungenutzt bleiben. Es kann den Eindruck erwecken, dass Menschen jede aussprechbare Buchstabenkombination in jeder wichtigen Sprache registrieren, sogar die unaussprechbaren kurzen. Gibt es eine weitverbreitete Domain-Spekulation, oder denke ich einfach an dieselben Namen wie alle anderen? Lassen Sie uns die Daten anschauen...

?

Derzeit sind 137 Millionen .com-Domainnamen registriert.1 Davon werden etwa 1/3 tats?chlich genutzt (Gesch?fte, pers?nliche Webseiten, E-Mail usw.), ein weiteres Drittel scheint ungenutzt zu sein, und das letzte Drittel wird für verschiedene spekulative Zwecke verwendet.

?

Wie ich diese Zahlen ermittelt habe

Ich begann mit dem Crawlen einer Zufallsstichprobe von Domains aus der Top-Level .com DNS-Zonendatei, bis ich 100.000 gültige Domains erreicht hatte.

?

Für jede Domain sammelte ich Folgendes:

?

den WHOIS-Eintrag

alle DNS-Eintr?ge für die Top-Level-Domain und die www-Subdomain

HTTP- und HTTPS-Antworten (Statuscode, Header und Inhalte) für die Startseite der Top-Level-Domain und der www-Subdomain

Screenshots der Startseite, angezeigt durch Mozilla Firefox 64.0 auf Linux

Der Crawl dauerte etwas mehr als 48 Stunden von einem einzelnen Server aus, der sich in einem Rechenzentrum in Singapur befindet. Ich führte einen Folge-Crawl für Domains durch, die keine HTTP- oder HTTPS-Verbindung herstellen konnten (für den Fall von vorübergehenden Fehlern). Schlie?lich überprüfte ich manuell die 2.188 Domains, die kategorisiert werden mussten, insbesondere jene, die fehlschlugen, um sicherzugehen, dass der Crawler nicht wegen Zeitüberschreitung abgebrochen hatte oder DOM-Ereignisse durch JavaScript blockiert wurden.

?

Dann schrieb ich ein Skript, das mir half, Websites anhand ihres Screenshots und Inhalts zu kategorisieren. Das Kategorisierungsskript stellt die m?glichen Kategorien als Liste von Buttons dar, wobei "Content" die Voreinstellung ist.

?

Ich nutzte das Skript, um die Domains in den folgenden 2 Tagen zu kategorisieren. In einigen F?llen reichten Screenshot und Inhalt nicht aus, also ?ffnete ich die Domain manuell in einem Webbrowser zur Inspektion.

?

Domain-Kategorien

?

Diese Kategorien entwickelten sich im Laufe meiner Arbeit. Zum Beispiel hatte ich die hohe Anzahl von Glücksspiel-Domains (Aliase) nicht erwartet.

?

Für die meisten Kategorien habe ich eine Zufallsstichprobe von Screenshots aus dieser Kategorie beigefügt, redundante Screenshots ausgeschlossen.

?

Inhalt (31 % oder ca. 43 Millionen)

Inhalt ist die Kategorie jeder Domain mit einer Webseite, die einzigartige Inhalte zeigt. Es spielt keine Rolle, was der Inhalt ist, solange er für die Domain einzigartig erscheint und ?ffentlich zug?nglich ist. Wenn ich unsicher war, ordnete ich die Domains standardm??ig dieser Kategorie zu.

?

Kein Webserver (11 % oder ca. 16 Millionen)

Wenn ich keine Verbindung zu Port 80 oder 443 für die Top-Level-Domain oder die www-Subdomain herstellen konnte oder keine gültige Antwort erhielt und die Domain keine MX-Eintr?ge hatte, ordnete ich die Domain dieser Kategorie zu. Einige dieser Domains haben wahrscheinlich eine andere Nutzung, wie FTP- oder Videospiel-Server, aber ich vermute, dass sie nur einen kleinen Anteil ausmachen. Au?erdem war der Crawl-Server nur für IPv4 konfiguriert, sodass IPv6-only-Webseiten hier gruppiert wurden.

?

Leer (9,2 % oder ca. 13 Millionen)

Eine leere Domain ist eine, bei der ein Webserver Anfragen beantwortet, jedoch leere Seiten, 404-Fehler oder unbefüllte Vorlagen (z. B. Standardinstallationen von WordPress) zurückgibt.

?

Der Unterschied zwischen einer leeren Domain und einer geparkten Domain ist, dass die leere Domain vermutlich vom Nutzer konfiguriert wurde, aber noch keine Inhalte hinzugefügt wurden.

?

Zu verkaufen (7,1 % oder ca. 9,8 Millionen)

Viele Domains sind zum Verkauf gelistet, meist von Domaininvestoren, über verschiedene Makler und Marktpl?tze. Fast die H?lfte dieser Kategorie scheint von HugeDomains verkauft zu werden, obwohl deren Webseite nur ?über 200.000“ verfügbare Domains listet (ein Bruchteil ihrer ca. 4 Millionen Domains, sofern die Stichprobe repr?sentativ ist). Ich nahm nur Domains von erkennbaren Marktpl?tzen oder wenn die Kontaktdaten nicht Teil einer Werbeplatzierung waren auf, da Werbenetzwerke und Domainmakler oft f?lschlich behaupten, den Domaininhaber zu vertreten (solche Domains kategorisierte ich stattdessen als Werbung).

?

Fehler (5,7 % oder ca. 7,9 Millionen)

Wenn eine Domain irgendeine Art von Fehler zurückgab, sei es ein HTTP-Fehler oder ein Fehler auf der Seite, geh?rt sie in diese Kategorie.

?

Beachten Sie, dass ich einige private Domains m?glicherweise als Fehler kategorisiert habe, wenn sie eine Basis-Authentifizierung nutzten, da ich nicht zwischen 403 Forbidden (aufgrund fehlender Basis-Auth-Zugangsdaten) und anderen Fehlern unterschieden habe.

?

Gepackt (4,8 % oder ca. 6,5 Millionen)

Geparkte Domains sind solche, die eine Seite des Registrars oder Host anzeigen, die erkl?rt, dass die Domain noch nicht eingerichtet wurde. Um als geparkt zu gelten, musste eine Domain eine Seite ohne externe Werbung ausliefern. Sie konnte eigene Dienstleistungen bewerben, durfte aber keine Werbung von Werbenetzwerken enthalten.

?

Glücksspiel (3,0 % oder ca. 4 Millionen)

Alle Websites in dieser Kategorie sind auf Chinesisch und arbeiten unter Aliasen, oft kurze Zahlen- oder Konsonantenfolgen (z. B. 17770012 oder tdwhtr). Sie folgen g?ngigen Vorlagen und enthalten ?hnliche Bilder, oft mit automatisch generierten Logos. Ich nehme an, ihr Zweck ist es, Menschen anzuziehen, die glauben, dass die Namen Glück bringen.

?

Mail (2,6 % oder ca. 3,5 Millionen)

Jede Domain, die in keiner anderen Kategorie ist, aber MX-DNS-Eintr?ge (für E-Mail) besitzt, habe ich als Mail kategorisiert. Ich habe nicht überprüft, ob der Mailserver funktioniert oder eine Zustellung m?glich ist. Es ist m?glich, dass viele dieser Domains tats?chlich nicht für E-Mail genutzt werden, doch ich gab ihnen den Vorteil des Zweifels.

?

Weiterleitung (1,1 % oder ca. 1,6 Millionen)

Weiterleitungen umfassen Vanity-Domains, die auf Facebook-Seiten verweisen, alternative Namen für Unternehmen usw.

?

Privat (0,64 % oder ca. 0,9 Millionen)

Private Domains hatten keinen zug?nglichen Inhalt ohne vorherige Anmeldung (oder in einigen F?llen Registrierung).

?

Pornografie (0,59 % oder ca. 0,8 Millionen)

?hnlich wie Glücksspiel-Websites operieren viele pornografische Websites unter verschiedenen Aliasen. Die Websites sind überwiegend auf Chinesisch und folgen ?hnlichen Namensmustern. Da viele Seiten pornografische Inhalte direkt anzeigen (nicht erst nach einer Warnung), habe ich hier keine Screenshots beigefügt.

Von Christopher Forno bei singapore data company