Er zijn goede bots en er zijn slechte bots. Goede bots (robots die een website kruipen) crawlen en indexeren van uw site en in het verkeer brengen. Slechte bots verbruiken bandbreedte, vertragen van uw server, stelen van uw inhoud en zoekt u naar kwe