À l’échelle individuelle, la charge supplémentaire peut être négligeable, mais à l’échelle des niveaux de scraping massifs, elle s’accumule et rend le scraping beaucoup plus coûteux.
En fin de compte, il s’agit d’une solution de remplacement qui permet de consacrer plus de temps à l’empreinte et à l’identification des navigateurs sans tête (headless) afin que la page de preuve de travail (challenge proof of work) n’ait pas à être présentée à des utilisateurs qui sont beaucoup plus susceptibles d’être légitimes.
Noter que Anubis exige l’utilisation de fonctionnalités modernes de JavaScript que des plugins comme JShelter peuvent désactiver.
Contexte et enjeux
Les pages qui utilisent des mécanismes anti-scraping cherchent à distinguer les humains des scripts automatisés.
Au niveau individuel, les coûts dynamiques n’apparaissent pas immédiatement comme prohibitifs, mais la somme des charges se révèle significative lorsque le volume de requêtes augmente.
Les solutions proposées visent à offrir un décalage entre les tentatives de scraping et les ressources consommées par ces tentatives.
Approche et méthodes
La stratégie évoquée repose sur un placeholder technique pour gagner du temps dans l’authentification et l’identification des comportements.
Plutôt que d’exiger systématiquement une preuve de travail à chaque utilisateur, l’objectif est de limiter cette exigence aux cas où la probabilité de légitimité est faible.
Cela permet de concentrer les efforts sur la fingerprinting et l’analyse du rendu des polices (font rendering) pour différencier les navigateurs sans tête des navigateurs complets.
Considérations techniques
La mise en œuvre s’appuie sur des mécanismes modernes de JavaScript, susceptibles d’être contournés ou bloqués par certains plugins de confidentialité.
Dans ce contexte, il est crucial de équilibrer sécurité et expérience utilisateur afin de ne pas pénaliser les utilisateurs légitimes tout en compliquant le travail des scrapers.
Impact sur l’architecture web
La méthode introduit une couche de vérification qui peut être activée selon le risque estimé.
Elle influence le coût opérationnel des requêtes et peut modifier la manière dont les services gèrent les sessions et les sessions sans état.
Observations et limites
Le placeholder solution offre des gains potentiels mais ne constitue pas une solution infaillible contre les scrapers évolutifs.
La dépendance vis-à-vis des capacités modernes de JavaScript peut aussi restreindre l’accessibilité dans certains environnements.
Éléments contextuels et directions futures
À terme, l’effort sera orienté vers des techniques de fingerprinting plus fines et la détection des navigateurs headless, notamment via l’analyse du rendu des polices et d’autres signatures d’environnement.
Antidetect Browser Fingerprint Options
Les images et vidéos associées devraient accompagner le texte pour illustrer les concepts sans ajouter de données superflues et sans interférer avec le flux principal de l’article.