W ostatnich latach narzędzia oparte na sztucznej inteligencji (AI) znacząco zyskały na popularności, a ich modele są trenowane m.in. poprzez automatyczne skanowanie publicznie dostępnych stron internetowych.
W niektórych przypadkach może to prowadzić do zwiększonego ruchu botów w witrynie lub znaczącego obciążenia serwera. W odpowiedzi na te wyzwania w panelu direct_Admin znajdziesz opcję Blokowanie botów AI, która pozwala lepiej kontrolować dostęp takich systemów do Twojej witryny.
1. Zaloguj się do panelu admina direct_Admin i znajdź zakładkę Blokowanie Botów AI
2. Znajdziesz tam listę domen, oraz przy każdej z nich przełącznik główny do blokowania Botów AI.
- Kiedy przełącznik jest aktywny, to oznacza, że zdefiniowane Boty mają dostęp do witryny.
Jest to stan domyślny. - Wyłączenie przełącznika powoduje, że zdefiniowane Boty takiego dostępu nie mają.
- Przełącznik w pozycji środkowej wskazuje, że tylko wybrane Boty są blokowane
Listę zdefiniowanych Botów można podejrzeć w zakładce Szczegółowe ustawienia przy każdej domenie.
Blokowanie dostępu wszystkich BOTów AI dla domeny
Jeśli chcesz zablokować dostęp wszystkich Botów AI do konkretnej domeny, przy jej nazwie przesuń przełącznik na pozycję wyłączoną:
W tej sytuacji zdefiniowane Boty AI nie będą miały dostępu do witryny, a ich odwiedziny w logach dostępu oznaczone będą kodem 403.
Blokowanie dostępu wybranych BOTów AI dla domeny
W przypadku chęci zablokowania dostępu tylko dla niektórych Botów AI, jest taka możliwość poprzez kliknięcie przycisku Szczegółowe ustawienia.
Wyświetlona zostanie lista zdefiniowanych Botów i przy każdym z nich przełącznik.
Aby zablokować dostęp konkretnego Bota do konfigurowanej domeny, przełącz przełącznik przy jego nazwie na pozycję nieaktywną. Status zmieni się z dopuszczony na niedopuszczony.
W tej sytuacji wybrana przez nas część Botów nie będzie miała dostępu do witryny, a pozostałe taki dostęp zachowają.
Kategorie i rodzaje Botów, które możliwe są do zablokowania:
Trenowanie modeli AI
Boty pobierające treści Twojej strony, by trenować na nich modele AI. Zablokowanie nie wpływa na widoczność w klasycznych wyszukiwarkach – chroni jedynie treści przed wykorzystaniem do uczenia sztucznej inteligencji. Pamiętaj, że ten trening wpływa na to czy dane modele będą wiedziały o Twojej domenie i co o niej będą wiedziały.
| Nazwa bota | Dostawca |
|---|---|
| GPTBot | OpenAI |
| ClaudeBot | Anthropic |
| Claude-Web | Anthropic |
| anthropic-ai | Anthropic |
| Google-Extended | |
| Applebot-Extended | Apple |
| Amazonbot | Amazon |
| FacebookBot | Meta |
| Meta-ExternalAgent | Meta |
| CCBot | CommonCrawl |
| cohere-ai | Cohere |
| cohere-training-data-crawler | Cohere |
| AI2Bot | Allen Institute (AI2) |
| Ai2Bot-Dolma | Allen Institute (AI2) |
| PanguBot | Huawei Pangu |
| YandexAdditional | Yandex |
| ICC-Crawler | NICT |
Wyszukiwarki AI
Boty indeksujące strony na potrzeby wyszukiwarek z odpowiedziami AI (np. Perplexity, ChatGPT Search). Pozwolenie im daje szansę pojawienia się Twojej strony w wynikach, ale często bot prezentuje gotową odpowiedź zamiast odesłać użytkownika do Ciebie.
| Nazwa bota | Dostawca |
|---|---|
| OAI-SearchBot | OpenAI |
| PerplexityBot | Perplexity |
| YouBot | You.com |
| Timpibot | Timpi |
| DuckAssistBot | DuckDuckGo |
| iaskspider | iAsk |
| Kangaroo Bot | Kangaroo AI |
| Phindbot | Phind |
Asystenci AI na żądanie użytkownika
Boty uruchamiane tylko wtedy, gdy konkretna osoba wklei link do Twojej strony w czacie z AI. Nie wykorzystują pobranej treści do treningu – pobierają stronę jednorazowo, aby odpowiedzieć użytkownikowi. Najmniej inwazyjna kategoria.
| Nazwa bota | Dostawca |
|---|---|
| ChatGPT-User | OpenAI |
| Claude-User | Anthropic |
| Meta-ExternalFetcher | Meta |
| Perplexity-User | Perplexity |
| MistralAI-User | Mistral AI |
| Brave-Leo | Brave Leo AI |
Komercyjne zbieranie i odsprzedaż danych
Firmy pobierające treści z Internetu, analizujące je i sprzedające klientom biznesowym (monitoring konkurencji, bazy B2B, rozpoznawanie obrazów). Dla właściciela strony zwykle nie przynoszą wymiernej korzyści.
| Nazwa bota | Dostawca |
|---|---|
| Diffbot | Diffbot |
| ImagesiftBot | The Hive AI |
| Omgilibot | Webz.io |
| Omgili | Webz.io |
| Webzio-Extended | Webz.io |
| VelenPublicWebCrawler | Velen.io |
| Sidetrade indexer bot | Sidetrade |
Pozostałe / ogólnego przeznaczenia
Boty o niejednoznacznym lub ogólnym zastosowaniu — wewnętrzne narzędzia badawcze i uniwersalne frameworki scrapujące.
| Nazwa bota | Dostawca |
|---|---|
| GoogleOther | |
| Scrapy | Scrapy (generic AI scraping framework) |
Hurtowe zarządzanie blokadą dla wszystkich domen
Poniżej listy domen mamy do dyspozycji także opcję hurtowego zarządzania blokadą dla wszystkich domen dostępnych na hostingu. Obejmuje ona wszystkie zdefiniowane Boty AI.
Wystarczy wybrać interesujący nas wariant i zatwierdzić wybór:
- Dopuść wszystkie boty AI we wszystkich domenach
- Zablokuj wszystkie boty AI we wszystkich domenach
Uwaga! Zabezpieczenie działa na zasadzie reguł w pliku .htaccess wybranych domen.
W przypadku skasowania takiego pliku, lub jego nieodpowiedniej modyfikacji, zabezpieczenie może przestać funkcjonować i wówczas należy ustawić reguły ponownie.
