Bloquer le robot ByteDance via un fichier .htaccess

Nouvelle plaie de l’hébergement de sites web, les robots d’indexation sauvage d’images et contenus..

Depuis quelques mois nous sommes contactés par des clients dont les serveurs sont soumis à des charges non reliées à des pics de visiteurs « humains »

En consultant les logs des serveurs, on s’aperçoit de quantités faramineuses de requètes issues d’un robot « ByteDance », qui crawle l’intégralité des sites sans ménagement… ( sur l’un des cas, plus de 237 000 requètes en quelques heures, pour un petit site e-commerce contenant beaucoup d’images de produits)

Résultats : des lenteurs, des surcharges, des plantages, qui pénalisent le trafic légitime sans aucun gain pour l’éditeur du site.

Voici un exemple de directives à placer au début d’un fichier .htaccess (pour Apache) afin de bloquer quelques robots dont l’utilité est plus que discutable…

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^.*(Bytespider|bytedance|Amazonbot).*$ [NC]
RewriteRule .* – [F,L]

Le serveur répondra immédiatement une erreur 403, sans solliciter votre CMS et donc votre base de données. Un gain appréciable en ressources !

 

Publié dans Actualités, Sécurité

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

*

Changer d’hébergeur

Service de migration de serveurs, sites web, domaines et emails

Tél. +33.3.81.47.93.85
Email : info@demenageur-site.com
Twitter : DemenageurSite
Web : www.demenageur-site.com