diff --git a/src/fr/devinsy/statoolinfos/metrics/http/userAgentBotDetectorData.txt b/src/fr/devinsy/statoolinfos/metrics/http/userAgentBotDetectorData.txt index 3db0102..2eb69c6 100644 --- a/src/fr/devinsy/statoolinfos/metrics/http/userAgentBotDetectorData.txt +++ b/src/fr/devinsy/statoolinfos/metrics/http/userAgentBotDetectorData.txt @@ -1,4 +1,6 @@ +AhrefsBot ^Apache-HttpClient/ + Barkrowler/ bot BingPreview crawler @@ -17,6 +19,7 @@ internal dummy connection ^Java/ ^JGit/ Let's Encrypt validation server; +ltx71 ^MastoPeek ^mattermost- ^Misskey/ @@ -24,6 +27,7 @@ internal dummy connection monitoring ^newspaper/ ^node-fetch/ +Nutch- ^okhttp/ ^PeerTube/ ^PHP/ @@ -31,6 +35,9 @@ monitoring ^python-requests/ ^python/ ^Python/ +^Python-urllib/ + SemrushBot ^Synapse/ ^Tusky/ YisouSpider + zgrab/