Nouvelle plaie de l’h\u00e9bergement de sites web, les robots d’indexation sauvage d’images et contenus..<\/p>\n
Depuis quelques mois nous sommes contact\u00e9s par des clients dont les serveurs sont soumis \u00e0 des charges non reli\u00e9es \u00e0 des pics de visiteurs \u00ab\u00a0humains\u00a0\u00bb<\/p>\n
En consultant les logs des serveurs, on s’aper\u00e7oit de quantit\u00e9s faramineuses de requ\u00e8tes issues d’un robot \u00ab\u00a0ByteDance\u00a0\u00bb, qui crawle l’int\u00e9gralit\u00e9 des sites sans m\u00e9nagement… ( sur l’un des cas, plus de 237 000 requ\u00e8tes en quelques heures, pour un petit site e-commerce contenant beaucoup d’images de produits)<\/p>\n
R\u00e9sultats : des lenteurs, des surcharges, des plantages, qui p\u00e9nalisent le trafic l\u00e9gitime sans aucun gain pour l’\u00e9diteur du site.<\/p>\n
Voici un exemple de directives \u00e0 placer au d\u00e9but d’un fichier .htaccess (pour Apache) afin de bloquer quelques robots dont l’utilit\u00e9 est plus que discutable…<\/p>\n
RewriteEngine On
\nRewriteCond %{HTTP_USER_AGENT} ^.*(Bytespider|bytedance|Amazonbot).*$ [NC]
\nRewriteRule .* – [F,L]<\/p><\/blockquote>\nLe serveur r\u00e9pondra imm\u00e9diatement une erreur 403, sans solliciter votre CMS et donc votre base de donn\u00e9es. Un gain appr\u00e9ciable en ressources !<\/p>\n
<\/p>\n","protected":false},"excerpt":{"rendered":"
Nouvelle plaie de l’h\u00e9bergement de sites web, les robots d’indexation sauvage d’images et contenus.. Depuis quelques mois nous sommes contact\u00e9s par des clients dont les serveurs sont soumis \u00e0 des charges non reli\u00e9es \u00e0 des pics de visiteurs \u00ab\u00a0humains\u00a0\u00bb En…<\/span><\/p>\n