Bella zuppa contro scrapy contro selenio: quale strumento di web scraping dovresti usare?

Vuoi imparare il web scraping con Python ma sei confuso sull’opportunità di utilizzare Beautiful Soup, Selenium o Scrapy per il tuo prossimo progetto? Sebbene tutte queste librerie e framework Python siano potenti di per sé, non soddisfano tutte le esigenze di web scraping e, quindi, è importante sapere quale strumento dovresti usare per un particolare lavoro.

Diamo un’occhiata alle differenze tra Beautiful Soup, Scrapy e Selenium, così puoi prendere una decisione saggia prima di iniziare il tuo prossimo progetto di web scraping Python.

1. Facilità d’uso

Se sei un principiante, il tuo primo requisito sarebbe una libreria facile da imparare e da usare. Beautiful Soup ti offre tutti gli strumenti rudimentali di cui hai bisogno per raschiare il web ed è particolarmente utile per le persone che hanno un’esperienza minima con Python ma vogliono partire con il web scraping.

L’unico avvertimento è che, a causa della sua semplicità, Beautiful Soup non è così potente rispetto a Scrapy o Selenium. I programmatori con esperienza di sviluppo possono facilmente padroneggiare sia Scrapy che Selenium, ma per i principianti, il primo progetto può richiedere molto tempo per essere costruito se scelgono di utilizzare questi framework invece di Beautiful Soup.

Per raschiare il contenuto del tag del titolo su example.com utilizzando Beautiful Soup, devi utilizzare il seguente codice:

url = "https://example.com/"
res = requests.get(url).text
soup = BeautifulSoup(res, 'html.parser')
title = soup.find("title").text
print(title)

Per ottenere risultati simili utilizzando il selenio, dovresti scrivere:

url = "https://example.com"
driver = webdriver.Chrome("path/to/chromedriver")
driver.get(url)
title = driver.find_element(By.TAG_NAME, "title").get_attribute('text')
print(title)

La struttura dei file di un progetto Scrapy è composta da più file, il che aumenta la sua complessità. Il seguente codice estrae il titolo da example.com:

import scrapy


class TitleSpider(scrapy.Spider):
name = 'title'
start_urls = ['https://example.com']

def parse(self, response):
yield {
'name': response.css('title'),
}

Se desideri estrarre dati da un servizio che offre un’API ufficiale, potrebbe essere una saggia decisione utilizzare l’API invece di sviluppare un web scraper.

2. Velocità di scraping e parallelizzazione

Dei tre, Scrapy è il chiaro vincitore quando si tratta di velocità. Questo perché supporta la parallelizzazione per impostazione predefinita. Usando Scrapy, puoi inviare più richieste HTTP contemporaneamente e quando lo script ha scaricato il codice HTML per il primo set di richieste, è pronto per inviare un altro batch.

Con Beautiful Soup, puoi utilizzare la libreria di threading per inviare richieste HTTP simultanee, ma non è conveniente e dovrai imparare il multithreading per farlo. Su Selenium, è impossibile ottenere la parallelizzazione senza avviare più istanze del browser.

Se dovessi classificare questi tre strumenti di web scraping in termini di velocità, Scrapy è il più veloce, seguito da Beautiful Soup e Selenium.

3. Utilizzo della memoria

Selenium è un’API di automazione del browser, che ha trovato le sue applicazioni nel campo del web scraping. Quando si utilizza Selenium per eseguire lo scraping di un sito Web, viene generata un’istanza del browser headless che viene eseguita in background. Questo rende Selenium uno strumento ad alta intensità di risorse rispetto a Beautiful Soup e Scrapy.

Poiché questi ultimi operano interamente nella riga di comando, utilizzano meno risorse di sistema e offrono prestazioni migliori rispetto a Selenium.

4. Requisiti di dipendenza

Beautiful Soup è una raccolta di strumenti di analisi che ti aiutano a estrarre dati da file HTML e XML. Viene fornito con nient’altro. Devi utilizzare librerie come request o urllib per effettuare richieste HTTP, parser integrati per analizzare HTML/XML e librerie aggiuntive per implementare proxy o supporto database.

Scrapy, d’altra parte, arriva con l’intera faccenda. Ottieni strumenti per inviare richieste, analizzare il codice scaricato, eseguire operazioni sui dati estratti e archiviare le informazioni raschiate. Puoi aggiungere altre funzionalità a Scrapy usando estensioni e middleware, ma ciò verrebbe dopo.

Con Selenium, scarichi un driver Web per il browser che desideri automatizzare. Per implementare altre funzionalità come l’archiviazione dei dati e il supporto proxy, avresti bisogno di moduli di terze parti.

5. Qualità della documentazione

Nel complesso, ogni documentazione del progetto è ben strutturata e descrive ogni metodo utilizzando esempi. Ma l’efficacia della documentazione di un progetto dipende fortemente anche dal lettore.

La documentazione di Beautiful Soup è molto migliore per i principianti che stanno iniziando con il web scraping. Selenium e Scrapy hanno una documentazione dettagliata, senza dubbio, ma il gergo tecnico può cogliere alla sprovvista molti nuovi arrivati.

Se hai esperienza con concetti e terminologie di programmazione, una delle tre documentazioni sarebbe un gioco da ragazzi da leggere.

6. Supporto per estensioni e middleware

Scrapy è il framework Python per scraping web più estensibile, punto. Supporta middleware, estensioni, proxy e altro e ti aiuta a sviluppare un crawler per progetti su larga scala.

Puoi scrivere crawler infallibili ed efficienti implementando middleware in Scrapy, che sono fondamentalmente hook che aggiungono funzionalità personalizzate al meccanismo predefinito del framework. Ad esempio, HttpErrorMiddleware si occupa degli errori HTTP in modo che gli spider non debbano occuparsene durante l’elaborazione delle richieste.

Il middleware e le estensioni sono esclusivi di Scrapy ma puoi ottenere risultati simili con Beautiful Soup e Selenium utilizzando librerie Python aggiuntive.

7. Rendering JavaScript

Il selenio ha un caso d’uso in cui supera altre librerie di web scraping, ovvero lo scraping di siti Web abilitati per JavaScript. Sebbene sia possibile eseguire lo scraping di elementi JavaScript utilizzando i middleware Scrapy, il flusso di lavoro Selenium è il più semplice e conveniente di tutti.

Utilizzi un browser per caricare un sito Web, interagire con esso utilizzando clic e pressioni di pulsanti e, quando hai il contenuto che devi raschiare sullo schermo, estrailo utilizzando i selettori CSS e XPath di Selenium.

Beautiful Soup può selezionare elementi HTML utilizzando i selettori XPath o CSS. Tuttavia, non offre funzionalità per raschiare elementi con rendering JavaScript su una pagina Web.

Il web scraping è stato semplificato con Python

Internet è pieno di dati grezzi. Il web scraping aiuta a convertire questi dati in informazioni significative che possono essere utilizzate al meglio. Il selenio è molto probabilmente la tua scommessa più sicura se vuoi raschiare un sito web con JavaScript o devi attivare alcuni elementi sullo schermo prima di estrarre i dati.

Scrapy è un framework di web scraping completo per tutte le tue esigenze, sia che tu voglia scrivere un piccolo crawler o uno scraper su larga scala che esegua ripetutamente la scansione di Internet per i dati aggiornati.

Puoi usare Beautiful Soup se sei un principiante o hai bisogno di sviluppare rapidamente un raschietto. Qualunque sia il framework o la libreria con cui vai, è facile iniziare a imparare il web scraping con Python. ​​​​​​