Screaming Frog SEO Spider — przewodnik po narzędziu

Analiza stron internetowych względem optymalizacji pod wyszukiwarki — SEO — byłaby bardzo trudna bez wykorzystywania dedykowanych narzędzi. Dotarcie do każdej podstrony przez klasyczne „przeklikiwanie” się przez poszczególne adresy jest możliwe właściwie jedynie w przypadku bardzo małych serwisów zawierających dosłownie kilka podstron, a nawet w takich przypadkach nie zawsze jest to skuteczne, gdyż nie wszystko można uchwycić ludzkim okiem. W związku z tym, jednym z niezbędnych narzędzi każdego specjalisty SEO jest crawler, np. Screaming Frog SEO Spider. Do czego służy to narzędzie i czy warto zacząć z nim pracować?

Screaming Frog — co to jest za narzędzie i do czego służy?

Instalacja narzędzia i wybór pakietu

Funkcje dostępne w wersji bezpłatnej i płatnej:

Funkcje dostępne tylko w wersji płatnej:

Instalacja Screaming Frog — krok po kroku

Screaming Frog — jak zacząć pracę z narzędziem i włączyć pierwszy crawl?

Ustawienia — Mode

Ustawienia — Configuration

Włączenie crawla

Analiza otrzymanego raportu

Warte uwagi funkcje Screaming Frog

Wykrywanie łańcuchów przekierowań

Funkcja Custom Extraction

Generowanie sitemap w formacie XML

Różne modele prezentacji danych

Screaming Frog SEO Spider — zalety i wady

Screaming Frog — czy warto zainteresować się tym narzędziem?

Screaming Frog — co to jest za narzędzie i do czego służy?

Założeniem działania crawlerów jest przechodzenie po analizowanym serwisie strona po stronie, z uwzględnieniem każdej linijki kodu. Screaming Frog działa właśnie w ten sposób, imitując jednocześnie zachowanie robotów crawlujących od Google czy Bing’a. Rezultatem jest obszerny raport zawierający wszystkie podstrony serwisu, a także takie dane jak nagłówki, meta title, meta description, status strony (np. kod 200, 3xx, 4xx, 5xx), dane strukturalne, informacje o tagach kanonicznych czy przekierowaniach i wiele więcej.

Co więcej, Screaming Frog można połączyć z innymi narzędziami, takimi jak Google Analytics, Google Search Console, Page Speed Insights, Moz, Ahrefs lub Majestic przy pomocy API. Pozwala to na pozyskanie dodatkowych danych i zebranie ich w jednym, kompleksowym raporcie. 

Instalacja narzędzia i wybór pakietu

Screaming Frog SEO Spider jest dostępny w wersji bezpłatnej oraz bardziej zaawansowanej płatnej wersji. Obecnie (luty 2024) cena za roczny dostęp do płatnej wersji narzędzia to 239 euro. Kwotę tę można obniżyć przy wykupieniu minimum 5 licencji. 

Przed wyborem najbardziej dogodnego pakietu warto zastanowić się jednak nad swoimi potrzebami i wymaganiami dotyczącymi narzędzia, gdyż w wielu przypadkach nawet bezpłatna wersja może okazać się wystarczająca.

Największym blokerem bezpłatnej wersji jest możliwość crawlowania jedynie 500 adresów URL. W przypadku analizy serwisu posiadającego większą liczbę podstron Screaming Frog wskaże dane dotyczące losowych 500 adresów. 

Funkcje dostępne w wersji bezpłatnej i płatnej:

• Wykrywanie uszkodzonych linków, błędów i przekierowań.
• Analiza tytułów stron i meta description.
• Analiza dyrektyw dla robotów.
• Audyt atrybutów hreflang.
• Odkryj dokładnie zduplikowane strony.
• Generowanie mapy witryny w formacie XML.
• Wizualizacja witryny.

Funkcje dostępne tylko w wersji płatnej:

• Harmonogramowanie.
• Konfiguracja crawla.
• Zapisywanie i ponowne załadowywanie crawli.
• Renderowanie kodu JavaScript.
• Porównanie crawli.
• Wykrywanie danych strukturalnych.
• Sprawdzanie pisowni i gramatyki.
• Wyciąganie niestandardowych danych.
• Integracja z Google Analytics.
• Integracja z Google Search Console.
• Integracja z PageSpeed Insights.
• Raport crawla Looker Studio.
• Bezpłatne wsparcie techniczne.

Instalacja Screaming Frog — krok po kroku

Krok 1 – pobranie programu na komputer

Screaming Frog nie jest narzędziem opartym na chmurze, dlatego w celu skorzystania z niego, należy pobrać program na swoje urządzenie. Narzędzie można pobrać ze strony producenta: https://www.screamingfrog.co.uk , klikając w przycisk Download. W tym momencie można również wybrać swój system operacyjny. Screaming Frog jest dostępny na systemy Windows, Mac Os i Linux.

Krok 2 – Instalacja

Po pobraniu programu na komputer wystarczy przejść do folderu, w którym zapisywane są pobrane elementy i wybranie pliku Screaming Frog z rozszerzeniem „.exe”. Następnie należy podążać za wskazówkami instalatora. 

Krok 3 – Zmiana ustawień zapisywania danych

Nie jest to krok wymagany, jednak warto go rozważyć. Firma Screaming Frog rekomenduje zmianę miejsca zapisywania danych z pamięci na dysk SSD. Zmianę ustawień można wykonać w narzędziu, przechodząc po ścieżce: File > Settings > Storage Mode > wybór opcji Database Storage.  Korzyścią takiego działania jest zwiększenie wydajności i stabilności narzędzia przy przetwarzaniu dużych zbiorów danych, zapewniając jednocześnie większe bezpieczeństwo danych w przypadku awarii systemu. 

Screaming Frog — jak zacząć pracę z narzędziem i włączyć pierwszy crawl?

Przed włączeniem pierwszego crawla serwisu warto dobrze zapoznać się z podstawowymi funkcjonalnościami narzędzia i poznać jego poszczególne sekcje.

W pierwszej kolejności warto przyjrzeć się opcjom Mode i Configuration. To właśnie w tym miejscu należy skonfigurować najważniejsze ustawienia swojego crawla. 

Ustawienia — Mode

Rozwijając sekcję Mode, należy wybrać jedną z 4 możliwych opcji: Spider, List, SERP lub Compare. Najczęściej używane są dwie pierwsze opcje. 

Po wybraniu funkcji Spider należy skorzystać ze wskazanego pola i wpisać w nie główny adres URL analizowanego serwisu, np. https://cyberfolks.pl/. Korzystając z tej opcji, Screaming Frog przecrawluje wszystkie adresy analizowanej podstrony.

Często wykorzystywaną opcją jest również funkcja List. Po jej wybraniu zmienia się nieznacznie wygląd narzędzia. Znika wcześniej wspomniane pole do wpisania adresu URL, a pojawia się opcja Upload. W tym miejscu można załadować wybraną przez siebie listę adresów URL. Podczas korzystania z opcji List, crawler przeanalizuje jedynie udostępnioną liczbę adresów, a nie cały serwis.

Opcja SERP pozwala na sprawdzenie, jak znaczniki meta title i meta description są widoczne w wynikach wyszukiwania. Natomiast opcja Compare pozwala na porównanie wyników crawla z poprzednim skanowaniem serwisu. Jest to szczególnie przydatne w przypadku przeprowadzania audytów SEO po migracji serwisu lub w przypadku analiz nowych wdrożeń.

Ustawienia — Configuration

W tym miejscu można spersonalizować crawla i dopasować ustawienia do swoich potrzeb. Przykładowe opcje, które można w tym miejscu zmienić to:

Respektowanie pliku robots.txt

Przechodząc ścieżką Configuration > robots.txt można zadecydować, czy Screaming Frog ma respektować dyrektywy w robots.txt, ignorować je lub czy ma je ignorować, lecz zaraportować ich status w raporcie. Ostatnia opcja okaże się w większości przypadków najwygodniejsza, gdyż dzięki niej Screaming Frog dostanie się do wszystkich adresów, a jednocześnie wskaże te, które są niedostępne dla robotów wyszukiwarek. 

Funkcja Include oraz Exlude

Screaming Frog daje możliwość zawężenia crawla tylko do adresów, które posiadają lub nie posiadają danego elementu w adresie URL, np. katalogu. Dobrym przykładem jest chęć analizy jedynie sekcji blogowej danej strony internetowej. Zakładając, że każdy artykuł blogowy posiada w adresie URL katalog /blog/ można wdrożyć w ustawieniach Include dyrektywę z tym katalogiem. W rezultacie otrzymasz raport zawierający jedynie adresy URL z katalogiem /blog/. W odwrotnej sytuacji, jeżeli chcesz przeanalizować cały serwis z wyjątkiem bloga, taką samą dyrektywę należy wpisać w ustawieniach Exclude. 

Szybkość crawla

Korzystając z funkcji Speed, można zarządzać szybkością przetwarzania crawla poprzez ustawienie maksymalnej ilości jednocześnie prowadzonych wątków lub maksymalną liczbę analizowanych adresów URL w ciągu sekundy. To przydatna funkcjonalność, jeśli zależy Ci na szybkim przeprowadzeniu analizy. Występuje jednak zagrożenie, że ustawienie zbyt dużej szybkości przetwarzania i związanym z tym dużym obciążeniem serwera, analizowany serwis może mieć problemy z długim ładowaniem się stron lub ze stabilnością w trakcie analizy.

Funkcja User-Agent

Screaming Frog umożliwia zmianę tzw. prezentowanego user-agenta. Robot Screaming Frog odwiedzając dane adresy może przedstawiać się, np. jako bot od Google, Bing, Baidu, czy Apple, a nie jako on sam — Screaming Frog. Jest to przydatna opcja, gdyż niektóre serwisy blokują dostęp do strony w pliku robots.txt dla innych botów niż te od wyszukiwarek. 

Połączenie z API

Omawiany crawler ma możliwość integracji poprzez API z innymi narzędziami, dzięki czemu jest w stanie przygotować raport zawierający szerszy zakres danych. Połączenie z API można ustawić przechodząc ścieżką Configuration > API Access.

Włączenie crawla

Po wybraniu wszystkich ustawień i umieszczeniu adresu URL (lub listy adresów) do analizy, wystarczy kliknąć przycisk Start, aby Screaming Frog rozpoczął pracę. W trakcie działania, po prawej stronie ekranu można obserwować progres prac, a dokładnie wartość procentową liczby przecrawlowanych adresów. 

Analiza otrzymanego raportu

Ukończony crawl można analizować według podziału tematycznego. Screaming Frog podzielił swoje raporty na sekcje, które koncentrują się na konkretnym elemencie, np. na tytułach stron (Page Titles), nagłówkach (H1, H2), czy adresach grafik (Images). Przejście do każdej sekcji jest bardzo intuicyjne, należy poruszać się po zakładkach znajdujących się poniżej ciemnego paska z logo firmy. 

Nie wszystkie zakładki są widoczne domyślnie, część z nich jest dostępna dopiero po rozwinięciu strzałki. 

Co więcej, wszystkie dane można eksportować do pliku Excel lub Google Sheets, co ułatwia dalszą pracę nad otrzymanymi danymi. Można to zrobić korzystając z funkcji Export.

Warte uwagi funkcje Screaming Frog

Crawler Screaming Frog można wykorzystywać do bardziej i mniej  zaawansowanych analiz, przydatnych podczas przeprowadzania audytu SEO i nie tylko. Im lepiej poznasz to narzędzie, tym więcej możliwości się przed Tobą otworzy.

Wykrywanie łańcuchów przekierowań

Optymalizując stronę internetową względem wyszukiwarek, specjaliści SEO unikają łańcuchów przekierowań i starają się nim zapobiegać. Screaming Frog może okazać się przydatny przy wykrywaniu tego typu błędów. 

Pierwszym krokiem do przeprowadzenia takiej analizy jest konfiguracja crawla. Przed klinięciem Start, należy przejść do opcji Configuration > Spider > Crawl > Advanced > Always Follow Redirects. 

Następnie po przeprowadzeniu crawla serwisu należy przejściu do raportu  Redirects Chains poprzez ścieżkę Reports > Redirects > Redirects Chains. 

Funkcja Custom Extraction

Opcja Custom Extraction okaże się przydatna w momencie, w którym potrzebujesz „wyciągnąć” określony fragment treści strony internetowej z wielu adresów, np. treść wszystkich opisów kategorii ze swojego e-commerce, informację o dostępności produktów w sklepie lub informacje o dacie publikacji artykułów blogowych. 

Jak to zrobić? Najpierw wejdź na przykładowy adres URL, który wiesz, że posiada potrzebne Ci dane, np. artykuł blogowy z umieszczoną datą. Najedź myszką na element, który Cię interesuje, kliknij prawym przyciskiem myszy i wybierz opcję Zbadaj. Najedź na fragment kodu zawierający wybrany element na stronie i skopiuj jego ścieżkę XPath. 

Następnie przejdź do Screaming Frog, wybierz opcje Configurattion > Custom > Custom Extraction, kliknij przycisk Add i wklej skopiowany XPath. 

Po przeprowadzeniu crawla, rezultaty znajdziesz w sekcji Custom Extracttion wśród innych raportów z danymi. 

Generowanie sitemap w formacie XML

Podstawową kwestią podczas optymalizacji stron internetowych jest zbudowanie pliku sitemap.xml. Często jest to możliwe z poziomu CMS, jednak zdarzają się przypadki, że mapę strony trzeba przygotować ręcznie. W takiej sytuacji można skorzystać ze Screaming Frog.

Po przeprowadzeniu crawla serwisu można skorzystać z opcji Sitemaps > XML Sitemap. Domyślnie narzędzie umieści w mapie strony XML tylko podstrony z kodem 200, a pominie strony z dyrektywą NoIndex, strony zablokowane przez robots.txt, strony z tagiem kanonicznym, kolejne strony paginacji, czy adresy plików PDF. Screaming Frog umożliwia również wygenerowanie osobnej mapy dla adresów grafik. 

Tak przygotowaną mapę strony należy jedynie przesłać na serwer oraz do Google Search Console. 

Różne modele prezentacji danych

W Screaming Frog dane można przedstawiać nie tylko w formie tabel i danych umieszczonych w arkuszach kalkulacyjnych. Można je również przedstawiać w formie graficznej, np.:

• “drzewo” z adresami URL
  
• diagram 2D
  
• diagram 3D

• „chmura” słów

Screaming Frog SEO Spider — zalety i wady

Screaming Frog jest bez wątpienia niezwykle przydatnym narzędziem dla każdego specjalisty SEO, ale także specjalistów ds. content marketingu, czy specjalistów e-commerce. Jednak, jak każde narzędzie, posiada zarówno zalety, jak i wady. Przyjrzyjmy się im bliżej.

Screaming Frog — czy warto zainteresować się tym narzędziem?

Zdecydowanie tak! Screaming Frog SEO Spider to narzędzie, które zostanie docenione przez każdego, kto miał cokolwiek do czynienia z optymalizacją stron internetowych. Chociaż mnogość funkcji może być początkowo przytłaczająca, wraz z lepszym poznaniem programu, ogromna funkcjonalność crawlera okaże się jedynie zaletą. Przed kupieniem licencji na pełną wersję, warto przetestować go na bezpłatnej wersji, zapoznać się z podstawowymi funkcjami i przekonać się, czy spełnia Twoje oczekiwania.

Autorka:
Aleksandra Podżorska — SEO Consultant w agencji marketingowej Harbingers.