Al buscar nombres .com, me he frustrado por la gran cantidad que ya están registrados pero parecen no estar en uso. Parece que la gente está registrando todas las combinaciones pronunciables de letras en todos los idiomas principales, e incluso las cortas impronunciables. ?Existe una especulación masiva de dominios, o simplemente pienso en los mismos nombres que todos los demás? Veamos los datos...

Actualmente hay 137 millones de nombres de dominio .com registrados.1 De estos, aproximadamente 1/3 están en uso (negocios, sitios web personales, correo electrónico, etc.), otro 1/3 parecen no estar en uso, y el último 1/3 se utilizan para diversos fines especulativos.

Cómo Determiné Estos Números

Comencé rastreando una muestra aleatoria de los dominios del archivo de zona DNS de nivel superior .com, hasta alcanzar 100,000 dominios válidos.

Para cada dominio, recopilé lo siguiente:

el registro WHOIS

todos los registros DNS para el dominio de nivel superior y el subdominio www

Respuestas HTTP y HTTPS (código de estado, encabezados y cuerpos) para la página raíz del dominio de nivel superior y el subdominio www

capturas de pantalla de la página raíz vistas con Mozilla Firefox 64.0 en Linux

El rastreo tomó un poco más de 48 horas desde un solo servidor ubicado en un centro de datos de Singapur. Realicé un rastreo adicional para cualquier dominio que no se conectara por HTTP o HTTPS (en caso de errores transitorios). Y finalmente, para los 2,188 dominios a categorizar revisé manualmente cualquiera que hubiera fallado en caso de que el rastreador hubiera agotado el tiempo o tuviera eventos DOM bloqueados por JavaScript.

Luego, escribí un script para ayudarme a categorizar sitios web basándome en su captura de pantalla y cuerpo. El script de categorización presenta las posibles categorías como una lista de botones, siendo Contenido la predeterminada.

Usé el script para categorizar dominios durante los siguientes 2 días. En algunos casos la captura de pantalla y el cuerpo no eran suficientes, así que abrí el dominio manualmente en un navegador web para inspección.

Categorías de Dominio

Estas categorías evolucionaron mientras trabajaba. Por ejemplo, no había anticipado la alta cantidad de dominios de apuestas (alias).

Para la mayoría de categorías he incluido una muestra aleatoria de capturas de pantalla de esa categoría, excluyendo las redundantes.

Contenido (31% o ~43 millones)

Contenido es la categoría de cualquier dominio con un sitio web que muestra contenido único. No importa cuál sea el contenido, siempre que parezca ser único para el dominio y accesible públicamente. Cuando tenía dudas, por defecto colocaba los dominios en esta categoría.

Sin Servidor Web (11% o ~16 millones)

Si no pude conectar o recibir una respuesta válida desde el puerto 80 o 443 para el dominio de nivel superior o el subdominio www y el dominio no tenía registros MX, coloqué el dominio en esta categoría. Algunos de estos dominios probablemente tienen algún uso no web, como un servidor FTP o de videojuegos, pero espero que sean una peque?a fracción. Además, el servidor de rastreo estaba configurado solo para IPv4, por lo que cualquier sitio web solo IPv6 se habría agrupado aquí.

Vacío (9.2% o ~13 millones)

Un dominio Vacío es aquel para el que un servidor web responde a las solicitudes, pero devuelve páginas vacías, errores 404 o plantillas sin llenar (como instalaciones por defecto de WordPress).

La diferencia entre un dominio Vacío y un dominio Aparcado es que el dominio Vacío probablemente ha sido configurado por el usuario, pero aún no se ha a?adido contenido.

En Venta (7.1% o ~9.8 millones)

Muchos dominios están listados En Venta, usualmente por inversionistas de dominios, a través de varios corredores y mercados. Cerca de la mitad de esta categoría parece ser dominios vendidos por HugeDomains, aunque su sitio web lista solo "más de 200,000" dominios disponibles para compra (una fracción de sus ~4 millones de dominios si la muestra es representativa). Solo incluí dominios de mercados reconocibles o cuando los datos de contacto no formaban parte de una colocación publicitaria, ya que las redes de anuncios y corredores de dominios a menudo reclaman falsamente representar al propietario del dominio (todas esas las categorías las clasifiqué como Anuncios en su lugar).

Error (5.7% o ~7.9 millones)

Si un dominio devolvía cualquier tipo de error, ya sea un error HTTP o un error en la página, pertenece a esta categoría.

Tenga en cuenta que podría haber clasificado erróneamente algunos dominios Privados como Errores si usaban autenticación básica, ya que no distinguí entre 403 Prohibido (por falta de credenciales básicas) y otros errores.

Aparcado (4.8% o ~6.5 millones)

Los dominios aparcados son aquellos que muestran una página del registrador o host explicando que el dominio aún no ha sido configurado. Para calificar como Aparcado, un dominio debía servir una página sin anuncios externos. Podía anunciar sus propios servicios, pero no podía colocar anuncios de una red publicitaria.

Apuestas (3.0% o ~4 millones)

Todos los sitios web en esta categoría están en chino y operan bajo alias, a menudo cadenas cortas de números o consonantes (por ejemplo 17770012 o tdwhtr). Siguen plantillas comunes y contienen imágenes similares, a menudo con logotipos generados automáticamente. Supongo que su propósito es atraer a personas que piensan que los nombres son de buena suerte.

Correo (2.6% o ~3.5 millones)

Cualquier dominio que no esté en otra categoría, pero tenga registros MX DNS (para correo), lo categoricé como Correo. No intenté verificar si el servidor de correo funcionaba o si la entrega era posible. Es posible que muchos de estos dominios no se usen realmente para correo, pero les di el beneficio de la duda.

Redirección (1.1% o ~1.6 millones)

Las redirecciones incluyen dominios de vanidad que apuntan a páginas de Facebook, nombres alternativos para negocios, etc.

Privado (0.64% o ~0.9 millones)

Los dominios Privados no parecían tener ningún contenido accesible sin iniciar sesión primero (o en algunos casos registrarse).

Pornografía (0.59% o ~0.8 millones)

Similar a los sitios de apuestas, varios sitios pornográficos operan bajo varios alias. Los sitios web eran predominantemente en chino y los dominios seguían patrones de nombres similares. Como muchos sitios muestran material pornográfico directamente (no tras una advertencia), no incluí las capturas de pantalla aquí.

Por Christopher Forno en la empresa de datos de Singapur