Avro è un progetto open source che fornisce servizi di serializzazione e scambio di dati per Apache Hadoop. Questi servizi possono essere utilizzati insieme o in modo indipendente.
Avro facilita lo scambio di big data tra programmi scritti in qualsiasi linguaggio. Con il servizio di serializzazione, i programmi possono serializzare in modo efficiente i dati in file o in messaggi. Il data storage è compatto ed efficiente. Avro memorizza sia la definizione dei dati che i dati stessi in un unico messaggio o file.
Avro memorizza la definizione dei dati in formato JSON, facilitandone la lettura e l'interpretazione; mentre i dati stessi sono memorizzati in formato binario, il che li rende compatti ed efficienti. I file Avro includono indicatori che possono essere utilizzati per suddividere set di dati di grandi dimensioni in sottoinsiemi adatti per l'elaborazione di Apache MapReduce. Alcuni servizi di scambio dati utilizzano un generatore di codici per interpretare la definizione dei dati e produrre codice per accedere ai dati. Avro non richiede questo passaggio, il che lo rende ideale per i linguaggi di scripting.
Una caratteristica fondamentale di Avro è il solido supporto per gli schemi di dati che cambiano nel tempo, spesso denominati evoluzione dello schema. Avro gestisce le modifiche allo schema, come campi mancanti, campi aggiunti e campi modificati; di conseguenza, i vecchi programmi possono leggere nuovi dati e i nuovi programmi possono leggere vecchi dati. Avro include API per Java, Python, Ruby, C, C++ e altro. I dati memorizzati tramite Avro possono essere trasmessi da programmi scritti in linguaggi diversi, perfino da un linguaggio compilato come C a un linguaggio di scripting come Apache Pig.
Scopri gli elementi costitutivi e le best practice per aiutare i tuoi team ad accelerare l'AI responsabile.
Registrati per ricevere il report IDC
IBM e Cloudera hanno stretto una partnership per offrire una distribuzione Hadoop di livello aziendale leader del settore, che comprende un ecosistema integrato di prodotti e servizi per supportare analisi più rapide su larga scala.
Esplora uno degli approcci migliori della categoria per la gestione dei dati e scopri come le aziende stanno dando priorità alle tecnologie dei dati per promuovere la crescita e l'efficienza.
Leggi questa breve introduzione alla nuova generazione di architetture di dati. Introduce il ruolo del cloud e delle tecnologie NoSQL e discute degli aspetti pratici della sicurezza, della privacy e della governance.