Josh Jones ha publicado una entrada en el blog oficial de Dreamhost llamado The Internet is not for People. Cabe mencionar que las entradas de dicho blog son de todo menos normales. Josh suele decir verdades como puños... pero escondidas detrás de juegos de palabras raros, mucho frikismo e imágenes dignas de cualquier WTF!?.
Según Josh Internet quizá en el pasado era para personas, ahora no. Ahora existe para los robots. La entrada viene a raíz de su más reciente servicio llamado Private Server y comenta que la única razón para tener un servidor privado es quedarse aislado de otros sitios que suelen habitar en un servidor compartido.
La única razón para querer quedarse aislado de otros es que nadie excepto nosotros pueda tirar nuestro servidor. Y la razón por la que un sitio cae es porque su servidor está recibiendo más visitas de las que puede manejar.
Para algunos sitios (nota: es una
página que genera gráficos en un bucle intentando colgar el sitio,
pulsad Ctrl+W u os colgará el navegador si tenéis JS), una visita ya es
"demasiado" y para otros, una página HTML estática no tiene
prácticamente limites.
Muchos sitios están en sus servidores compartidos, incluso los mal hechos realmente pueden manejar "sin problemas" unos pocos cientos de visitas al día. Sólo hay problemas cuando un sitio completamente dinámico recibe decenas de cientos de visitas al día.
De hecho, uno de los sitios que han usado para probar Dreamhost PS cae exactamente en esta categoría. Es un blog popular frecuentemente actualizado (y por alguna razón los blogs no pueden ser HTML estático: ¿Pueden serlo? ¡Anda ya! ¡Blasfemo!) y en un día de media genera 10.000 páginas vistas únicas (sin contar imágenes, css, etcétera...).
Ése blog está generando constantemente problemas en su servidor compartido (Mmm... ¿10.000 páginas vistas/día? Espero que no se les ocurra mirar estadísticas de SigT o me fulminan }:P)...
La entrada se alarga pero llega a dar unos datos interesantes: del 100% de tráfico, sólo el 5.6% es de humanos. Y los divide así:
- El 70.4% proviene de bots: Google, Yahoo, MSN, Ask y un 20% de bots "misteriosos" (Josh asume que para nada bueno).
- El 17% de spammers que quieren dejar comentarios.
- Un 7% de agregadores y lectores RSS.
- Un 5.6% de "Actual Humans©".
Llegando al final a la conclusión de que gente como él, tú que lees esto o yo que lo escribo somos una minoría. El Internet del 2007 está hecho de robots, por robots, para robots. Extrapolando llega a la conclusión de que el 95% de páginas vistas de todo Internet son hechas por máquinas (chiste fácil-a-huevo: ¿el 5% que usa? ¿fibre2brain?).
En 1994 se sabia que el 99.99% de las páginas de Internet no recibían absolutamente nada de tráfico. Esa es la clave para entender de que manera hacen dinero las empresas de hosting web.
Pero eso ahora ha cambiado, ahora todos los sitios reciben tráfico y no sólo un 1%, pero el 99.99% de ese tráfico no es de humanos, no se puede tener todo. Josh acaba terminando con un tema que genero polémica en mayo: pedir a sus clientes el bloquear los bots de Google.
Y genero polémica por una simple cuestión: es Google. Sin sus servidores indexando páginas no hay (buena parte del) tráfico, no hay anuncios contextualizados de Adsense y no hay $$$CASH$$$. Pero el analizar, comprender y filtrar (si se hace necesario) el tráfico es algo que todo buen administrador debería saber.
En el 2003 en Dive Into Mark publicaron una entrada de cómo bloquear bots indeseados, los bots se van renovando con el tiempo, siempre salen nuevos y este tipo de listas se hacen inútiles: hay que monitorizar cada servidor a lo largo del tiempo y cuando hay una IP que genera problemas contrarrestar sus efectos lo mejor posible.
La lista, como decía, es inútil pero sirve como ejemplo de lo que hay por ahí: bots que te consumen gigas y gigas de ancho para revisar todo tu sitio y ver "si plagias" a los clientes del bot, ladrones de contenido (scrappers), ataques DDoS, bots mal configurados y un larguísimo etcétera.
Comentarios