Hadoop: definizione, funzionamento ed importanza in ambito aziendale
Che cos’è Hadoop?
Hadoop supporta le analisi gestendo i dati non strutturati che arrivano sempre più dal mondo dei social media e dall’Internet delle cose. Attraverso questo framework possiamo lavorare con le applicazioni in modo più rapido, sfruttando le tecniche di ottimizzazione dello storage. E’ un progetto Apache ideato ed usato da una comunità globale di contributori, che usano il linguaggio di programmazione Java.
Tra i contributori Yahoo ne fa un grande uso ma anche Facebook, Linkedin, Spotify ed il New York Times non ne possono più fare a meno. Come fanno le applicazioni a lavorare con migliaia di dati? Per via del framework che elabora e gestisce i dati non strutturati che vengono dal mondo digitale, per esempio, ma anche dall’Internet Of Things.
Funzionamento di Hadoop
E’ firmato Apache, sfrutta il linguaggio di programmazione Java e supporta applicazioni su licenza libera. Hadoop è un insieme di nodi dati che formano un HDFS, anche conosciuto come Hadoop Distributed File System. Il principale componente è Hadoop Common, che fornisce accesso al file system supportato da Hadoop. La struttura Hadoop Common include il file jar e gli script necessari per azionare il framework. Il pacchetto riporta inoltre il codice sorgente, la documentazione necessaria ed una sezione con i progetti della community Hadoop. Se prendiamo come esempio una configurazione standard, per avviare le analisi Hadoop, le risorse di archiviazione devono essere collegate direttamente al sistema.
Quali sono le analisi che consente di compiere Hadoop?
Grazie a questo framework possiamo elaborare grandi quantità di dati non strutturati attraverso le risorse di calcolo dello stesso framework. I Big Data provengono da diverse sorgenti ma le più autorevoli sono quelle generate da Internet delle Cose. Sfrutta il sistema HDFS per elaborare i dati, che gli consente di elaborare direttamente i dati-nodi senza dover trasferire i dati al sistema computazionale. Gli ambienti del framework sono tutti dotati di sistemi di archiviazione locali.
Attraverso la funzione MapReduce la trasformazione di questi dati viene effettuata al 100%. Come funziona? Ognuno di questi nodi elabora i dati in base alla richiesta ricevuta e poi trasmette i risultati ottenuti verso un master nodo, che li memorizza. I nodi computizionali si connettono in uno storage condiviso e questo aspetto da’ al framework molteplici strategie di archiviazione. Per sfruttare questo strumento è importante installare un plugin-in compatibile HDFS, contattare i fornitori che lo mettono a disposizione o usare l’S3 (Amazon Simple Storage Service) per la lettura e scrittura di file sullo storage di Amazon Cloud.
Perché usare Hadoop?
Questo framework ci consente di snellire l’operazione di archiviazione di grandi quantità di dati e di risparmiare denaro nel tempo, non costringendoci ad usare un classico Database relazionale. Riduce al minimo i tempi in eccesso per via della disposizione immediata dei dati che non vengono trasferiti in rete ed aumenta l’affidabilità generale perché tutti i sistemi sono gestiti a livello applicativo.
Se vuoi conoscere le nostre soluzioni Big Data per la tua azienda
