En cherchant des noms en .com, j’ai été frustré de voir combien étaient déjà pris alors qu’ils semblent inutilisés. On a l’impression que les gens enregistrent toutes les combinaisons de lettres pronon?ables dans toutes les langues majeures, et même les combinaisons courtes impronon?ables. Est-ce une spéculation massive sur les domaines, ou est-ce que je pense aux mêmes noms que tout le monde ? Regardons les données…

?

Il y a actuellement 137 millions de noms de domaine en .com enregistrés.1 Parmi eux, environ 1/3 sont utilisés (entreprises, sites personnels, emails, etc.), environ 1/3 semblent inutilisés, et le dernier 1/3 est utilisé pour divers usages spéculatifs.

?

Comment j'ai déterminé ces chiffres

J’ai commencé par explorer un échantillon aléatoire des domaines à partir du fichier de zone DNS de premier niveau .com, jusqu’à atteindre 100?000 domaines valides.

?

Pour chaque domaine, j’ai collecté les informations suivantes :

?

le registre WHOIS

tous les enregistrements DNS pour le domaine de premier niveau et le sous-domaine www

les réponses HTTP et HTTPS (code de statut, en-têtes et corps) pour la page racine du domaine de premier niveau et du sous-domaine www

captures d’écran de la page racine consultée avec Mozilla Firefox 64.0 sous Linux

Le crawl a duré un peu plus de 48 heures depuis un seul serveur situé dans un centre de données à Singapour. J’ai lancé un deuxième crawl pour les domaines qui n’ont pas pu se connecter via HTTP ou HTTPS (en cas d’erreurs transitoires). Enfin, pour les 2?188 domaines à catégoriser, j’ai vérifié manuellement ceux ayant échoué au cas où le crawler aurait expiré ou que des événements DOM auraient été bloqués par JavaScript.

?

Ensuite, j’ai écrit un script pour m’aider à catégoriser les sites web selon leurs captures d’écran et leur contenu. Le script de catégorisation présente les catégories possibles sous forme de liste de boutons, avec le contenu comme catégorie par défaut.

?

J’ai utilisé ce script pour catégoriser les domaines pendant les 2 jours suivants. Dans certains cas, la capture d’écran et le contenu ne suffisaient pas, donc j’ai ouvert manuellement le domaine dans un navigateur pour inspection.

?

Catégories de domaines

?

Ces catégories ont évolué au fur et à mesure. Par exemple, je n’avais pas anticipé le grand nombre de domaines de jeux d’argent (alias).

?

Pour la plupart des catégories, j’ai inclus un échantillon aléatoire de captures d’écran de cette catégorie, en excluant celles redondantes.

?

Contenu (31% soit environ 43 millions)

Contenu est la catégorie pour tout domaine ayant un site affichant un contenu unique. Peu importe le contenu, tant qu’il semble unique pour ce domaine et accessible publiquement. En cas de doute, je pla?ais par défaut les domaines dans cette catégorie.

?

Pas de serveur Web (11% soit environ 16 millions)

Si je n’ai pas pu me connecter ou recevoir une réponse valide depuis le port 80 ou 443 du domaine de premier niveau ou du sous-domaine www, et que le domaine n’avait pas d’enregistrements MX, j’ai placé le domaine dans cette catégorie. Certains de ces domaines ont probablement un usage non-web, comme un serveur FTP ou de jeu vidéo, mais je pense que ce sont une faible minorité. De plus, le serveur de crawl ne supportait que l’IPv4, donc les sites accessibles uniquement en IPv6 étaient classés ici.

?

Vide (9,2% soit environ 13 millions)

Un domaine Vide est un domaine dont le serveur web répond aux requêtes mais renvoie des pages vides, des 404 ou des modèles non remplis (comme des installations WordPress par défaut).

?

La différence entre un domaine Vide et un domaine Parké est que le domaine Vide a probablement été configuré par l’utilisateur, mais aucun contenu n’a encore été ajouté.

?

à vendre (7,1% soit environ 9,8 millions)

Beaucoup de domaines sont listés à vendre, généralement par des investisseurs de domaines, via divers brokers et places de marché. Près de la moitié de cette catégorie semble être composée de domaines vendus par HugeDomains, bien que leur site ne liste que "plus de 200 000" domaines en vente (une fraction de leurs ~4 millions de domaines si l’échantillon est représentatif). J’ai uniquement inclus les domaines provenant de places de marché reconnaissables ou lorsque les coordonnées de contact ne faisaient pas partie d’une publicité, car les régies publicitaires et brokers de domaines prétendent souvent à tort représenter un propriétaire de domaine (j’ai catégorisé tous ces domaines comme Publicités à la place).

?

Erreur (5,7% soit environ 7,9 millions)

Si un domaine retournait n’importe quel type d’erreur, qu’elle soit HTTP ou d’erreur interne à la page, il appartient à cette catégorie.

?

Notez que j’ai peut-être mal catégorisé certains domaines Privés comme Erreurs s’ils utilisaient une authentification basique, car je n’ai pas distingué entre 403 Interdit (absence de credentials d’authentification basique) et d’autres erreurs.

?

Parké (4,8% soit environ 6,5 millions)

Les domaines parkés sont ceux qui affichent une page du registrar ou de l’hébergeur expliquant que le domaine n’a pas encore été configuré. Pour être considéré comme Parké, un domaine devait servir une page sans publicité externe. Il pouvait faire la publicité de ses propres services, mais pas des publicités d’un réseau publicitaire.

?

Jeu (3,0% soit environ 4 millions)

Tous les sites de cette catégorie sont en chinois et fonctionnent sous des alias, souvent des cha?nes courtes de chiffres ou de consonnes (ex. : 17770012 ou tdwhtr). Ils suivent des modèles communs et contiennent des images similaires, souvent avec des logos générés automatiquement. Je suppose que leur but est d’attirer les personnes qui pensent que ces noms portent chance.

?

Mail (2,6% soit environ 3,5 millions)

Tout domaine ne rentrant pas dans une autre catégorie mais possédant des enregistrements DNS MX (pour email), je l’ai catégorisé Mail. Je n’ai pas vérifié si le serveur mail fonctionnait ou si la livraison était possible. Il est possible que beaucoup de ces domaines ne soient pas réellement utilisés pour l’email, mais je leur ai donné le bénéfice du doute.

?

Redirection (1,1% soit environ 1,6 million)

Les redirections incluent des domaines fantaisie pointant vers des pages Facebook, des noms alternatifs pour des entreprises, etc.

?

Privé (0,64% soit environ 0,9 million)

Les domaines privés ne semblaient pas avoir de contenu accessible sans s’authentifier (ou dans certains cas, sans s’inscrire).

?

Pornographie (0,59% soit environ 0,8 million)

Similaire aux sites de jeux d’argent, un certain nombre de sites pornographiques opèrent sous divers alias. Ces sites étaient majoritairement en chinois et suivaient des schémas de noms similaires. Comme beaucoup de sites affichent directement du matériel pornographique (sans avertissement préalable), je n’ai pas inclus les captures d’écran ici.

Par Christopher Forno chez singapore data company