Scrapy

Co to jest Scrapy?

Framework napisany w języku Python umożliwia scrapowanie strony internetowej, czyli automatyczne pobieranie z niej danych i zapisywanie, w celu wykorzystania w konkretnej aplikacji. Rozbudowane narzędzie cieszy się aktualnie bardzo dużą popularnością.

Najważniejszym elementem Scrapy są klasy Spider, które służą do zbierania danych. Określają, w jaki sposób narzędzie działa.

Technologia scrapowania jest kontrowersyjna, pojawia się wiele wątpliwości na temat legalności prowadzonych działań. Natomiast jest również skutecznym narzędziem do gromadzenia i wyszukiwania danych w Internecie.

Gdzie znajduje zastosowanie Scrapy?

Najczęściej ze Scrapy korzystają firmy, które chcą monitorować ceny produktów u konkurencji, aby przygotować dla swoich klientów najlepszą ofertę. Narzędzie umożliwia zbieranie danych do analizowania określonych zjawisk i tworzenia raportów.

Scrapy wykorzystywane jest również przez dziennikarzy śledczych i osoby potrzebujące dostępu do najświeższych wiadomości.

Jakie zalety ma Scrapy?

• Łatwe w użyciu.
• Obsługa żądań asynchronicznych.
• Automatyczne dostosowywanie prędkości indeksowania za pomocą mechanizmu Auto-throttling”.
• Niskie koszty uzyskania informacji oraz utrzymania.
• Skalowalność.

Wady Scrapy

• Można natrafić na strony, które blokują możliwość scrapowania, co uniemożliwi zebranie z nich informacji.