Panoramica della migrazione su nastro Archiviazione di Azure

Questo articolo è incentrato sulle migrazioni su nastro. Mira a semplificare, fornire indicazioni e considerazioni per eseguire correttamente la migrazione dei dati archiviati in vari supporti nastro ai servizi di archiviazione di Azure.

Panoramica

Il nastro archivia una grande parte dei dati del mondo e rimane uno dei tipi dominanti di supporti di archiviazione. Il supporto su nastro esiste per decenni ed è ancora molto utilizzato con centinaia di exabyte di nuovi nastri spediti ogni anno.

I nastri sono un ottimo mezzo per l'archiviazione di dati ad accesso sporadico. Sono veloci nella lettura sequenziale, ma le fasi che richiedono movimenti meccanici (come il caricamento e lo scaricamento di nastri, ricerca di nastri e così via) sono più lenti. Ciò rende i nastri inutilizzabili per l'accesso tradizionale in base casuale ed è il motivo principale per cui, anche oggi, i dati archiviati su nastri vengono usati raramente. Inoltre, il nastro è un supporto magnetico che richiede una gestione speciale. Sono sensibili all'ambiente, in particolare alla temperatura e all'umidità. Se mantenuti all'interno dell'intervallo ambientale operativo, possono ottenere una durabilità elevata e una buona percentuale di successo del ripristino. Tuttavia, quando viene mantenuto in ambiente poco amichevole, si verifica spesso un deterioramento e rende il nastro illeggibile.

Grandi porzioni di nastri archivia dati scuri (dati creati e archiviati, ma non usati per alcun scopo). I dati scuri non portano alcun valore al proprietario dei dati. Con l'aumento delle funzionalità di intelligenza artificiale e dell'accessibilità, la tendenza sta cambiando. I clienti stanno esaminando il modo in cui i dati scuri possono aiutarli ad aumentare l'efficienza, aprire nuovi flussi di ricavi o aumentare il vantaggio competitivo. Per sfruttare i vantaggi dei dati scuri, molte organizzazioni stanno valutando la migrazione dei dati dai nastri all'archiviazione cloud. L'archiviazione cloud offre un modo semplice per analizzare i dati, estrarre valore aziendale (con servizi come intelligenza artificiale, Machine Learning, Ricerca di Azure e così via) o ridurre i costi sfruttando l'archiviazione di archiviazione per la conservazione a lungo termine.

Ecco alcuni dei motivi principali per cui si riscontra un aumento delle migrazioni da nastro a cloud:

• Estrazione del valore aziendale da dati scuri
• Ridurre il lavoro richiesto per la gestione dei dati con conservazione a lungo termine,
• Evitare il processo di migrazione da una generazione di nastri a un'altra,
• Ridurre il rischio di perdita di dati, in particolare per le generazioni precedenti di nastri,
• Sostituire le strutture di archiviazione su nastro fuori sede,
• Semplificare i processi di ripristino di emergenza,
• Applicazione di strumenti moderni come intelligenza artificiale e Machine Learning ai dati cronologici.

Considerazioni

Prima dell'avvio di un processo di migrazione su nastro, è necessario considerare attentamente le opzioni. La prima considerazione consiste nel decidere chi esegue la migrazione. Vengono comunemente usate due opzioni:

• Il cliente ha eseguito la migrazione in cui il cliente esegue la migrazione end-to-end,
• Partner di migrazione nastro in cui il cliente invia i nastri al partner e il partner esegue il processo di migrazione.

Diverse considerazioni importanti possono facilmente guidare la decisione su chi può eseguire la migrazione, il cliente o il partner.

Risorse

Le risorse sono la parte più critica del processo di migrazione dei nastri e le dividiamo nelle categorie seguenti:

L'hardware è in genere la parte più complessa. Se si esegue la migrazione di generazioni di nastri esistenti, l'hardware è disponibile, ma usato come parte della produzione esistente. Ma per le generazioni di nastri meno recenti, l'hardware è spesso di fine vita ed è più difficile acquisire. Con la generazione di nastri meno recenti, l'uso di un partner di migrazione di nastri è un'opzione preferita e più semplice. Quando l'hardware di produzione viene usato per le migrazioni, è necessaria un'attenta pianificazione per assicurarsi che la migrazione non interferisca con i carichi di lavoro di produzione. Qui è possibile applicare tre modelli diversi:

1. Usare hardware dedicato per la migrazione: modello di migrazione più semplice, facile da pianificare e pianificare senza alcun impatto sulla produzione. Aggiunge costi per l'acquisizione dell'hardware (se non disponibile già) e causa un basso utilizzo dell'hardware dopo la migrazione.
2. Eseguire la migrazione fuori orario nell'hardware di produzione: modello di migrazione senza alcun impatto sulla produzione. Richiede una pianificazione, un'esecuzione e un orario di minore attività. Possibile solo se l'hardware di produzione non viene utilizzato 24x7.
3. Eseguire la produzione e la migrazione insieme: modello di migrazione meno preferito in quanto può influire facilmente sulla produzione. Questo modello riduce l'hardware disponibile per la produzione, richiede una pianificazione complessa e una pianificazione. Se questo modello viene usato, i processi per ridurre l'impatto sulla produzione sono fondamentali per mantenere sotto controllo la sequenza temporale della migrazione. Questo modello è consigliato solo quando l'hardware di produzione ha un utilizzo ridotto.

Opzioni di trasferimento dei dati

Dopo aver letto i dati dai nastri, è necessario spostarli in Archiviazione di Azure. I dati possono essere spostati usando dispositivi di rete o offline come Azure Data Box. Alcuni dei parametri che influiscono sulla scelta per le opzioni di trasferimento dei dati sono:

• Larghezza di banda della rete disponibile
• Sequenza temporale necessaria per completare la migrazione
• Frequenza delle modifiche ai dati

Altre informazioni sulle linee guida per la selezione dell'opzione ottimale sono disponibili qui. Il trasferimento di rete è un'opzione più semplice e preferita. È anche possibile combinare metodi di rete e offline, ma richiede una pianificazione maggiore per assicurarsi che i dati migrati non si sovrappongano.

Se non sono disponibili risorse per eseguire la migrazione, indipendentemente dal tipo di risorsa, l'unica opzione consiste nell'usare un partner di migrazione nastro. In tal caso, è possibile scegliere tra due opzioni:

1. Migrazione eseguita sul sito del cliente: il partner di migrazione dei nastri spedisce l'hardware, assume persone ed esegue il lavoro sulla posizione del cliente. Il cliente deve fornire l'accesso ai nastri, allo spazio dedicato per le apparecchiature, le connessioni di rete e l'accesso a Archiviazione di Azure servizio. Il partner è responsabile di tutte le altre attività.
2. Migrazione eseguita sul sito del partner: il cliente invia i nastri al partner e fornisce l'accesso al servizio Archiviazione di Azure. Il partner di migrazione nastro esegue tutte le operazioni per eseguire la migrazione dei dati dai nastri a Archiviazione di Azure.

La seconda opzione è più semplice e più comune. I partner di migrazione dei nastri dispongono di strutture progettate e dotate di strumenti per eseguire la migrazione su nastro su larga scala. Questa opzione riduce anche il rischio e la sequenza temporale poiché i partner hanno più risorse hardware disponibili. L'esecuzione della migrazione sul sito del cliente viene usata solo quando la sicurezza e i problemi di privacy non consentono al cliente di spedire i nastri al partner.

Diversi partner possono eseguire migrazioni su nastro ad Azure. L'elenco completo dei partner è disponibile nell'importazione di supporti offline.

Ecco un semplice diagramma di flusso per semplificare il processo di selezione.

Formato dati

Il formato dei dati ha un impatto notevole sulla progettazione della migrazione ed è la considerazione fondamentale per l'usabilità futura dei dati. I dati possono essere archiviati in un formato proprietario o nativo. I formati proprietari vengono comunemente archiviati come nastri virtuali. Il formato nativo richiede il ripristino di file da nastri e l'archiviazione come file o oggetti.

Il criterio principale per decidere il formato è il modo in cui si prevede di usare i dati. Se viene eseguita la migrazione dei dati solo per la conservazione a lungo termine, i nastri virtuali sono un'ottima scelta. In qualsiasi altro caso, l'archiviazione dei dati in formato nativo è un'opzione preferita. Consente un utilizzo semplice dei dati in futuro e offre molte possibilità con l'analisi dei dati.

Processo di migrazione

Dopo aver preso decisioni sull'esecuzione della migrazione e sul formato dei dati preferito, è possibile iniziare con la migrazione. La migrazione passa attraverso diverse fasi.

Fase informativa

La fase informativa è fondamentale per raccogliere i requisiti chiave. Le guide informative raccolte consentono di correggere la progettazione e la pianificazione. Anche se alcune informazioni possono essere aggiornate in fasi successive, fornendo informazioni precise imposta la scena ed evita la necessità di apportare modifiche enormi al processo. Alcune delle domande chiave che questa fase deve rispondere sono:

• Quale tipo di nastri deve essere migrato (ad esempio, LTO3, LTO6, 3592JC e così via)?
• Quantità di nastri per ogni modello di cui è necessario eseguire la migrazione(ad esempio, 100xLTO3, 200xLTO6 e così via)?
• Quale software è stato usato per scrivere i dati su nastri, è ancora disponibile il software?
• Qual è il formato usato per scrivere i dati su nastri, è il formato aperto o proprietario, viene applicata la compressione?
• È stata usata la crittografia e, in caso affermativo, qual è l'opzione più sicura per scambiare le chiavi di crittografia?
• Che cos'è l'area di destinazione?
• Quale servizio di archiviazione viene usato?
• Quali requisiti normativi sono critici (HIPAA, GDPR e così via)? La catena di custodia è obbligatoria?
• Qual è la scadenza della migrazione? Esistono attività cardine critiche?
• Quanta larghezza di banda di rete è disponibile per la migrazione?
• Dove sono archiviati i nastri fisicamente e possono essere spediti?
• Sono già disponibili valori hash per tutti i file? In caso affermativo, quale algoritmo di hash viene usato?
• I nastri sono necessari dopo la migrazione?
• Come mantenere la temperatura e l'umidità per i nastri durante la migrazione/trasporto?
• Chi sono le principali parti interessate?

Fase di preparazione

Dopo aver raccolto informazioni di base, è possibile prepararsi per la migrazione. La fase di preparazione può includere molti passaggi diversi, ma la maggior parte delle migrazioni prevede alcuni passaggi comuni:

1. L'analisi dei dati fornisce informazioni sui dati di cui è necessario eseguire la migrazione. Le informazioni sono fondamentali per stimare la velocità di lettura dei dati dai nastri e la quantità di parallelismo che è necessario ottenere per completare correttamente la migrazione prima della scadenza. Influisce sulle stime sull'hardware necessario (librerie, robot, unità). L'analisi dei dati viene eseguita eseguendo il campionamento di più nastri che rappresentano il set di dati di cui eseguire la migrazione. Le informazioni tipiche che si stanno cercando sono:

   • dimensioni dei file,
   • quantità di dati archiviati per nastro,
   • numero di file per nastro,
   • dimensioni minime e massime dei file,
   • tipi di file.

2. La qualità dei dati consente di stimare il set di dati finale e univoco di cui è necessario eseguire la migrazione. Uno dei problemi più comuni relativi alla migrazione su nastro è la duplicazione dei dati. La migrazione dei nastri è il momento ideale per pulire i dati duplicati. Questo processo migliora la qualità dei dati per un uso futuro, riduce i costi e la durata della migrazione.

3. La definizione delle priorità dei dati determina l'ordine in cui è possibile eseguire la migrazione dei dati. Idealmente, vogliamo ottenere lo streaming diretto da ogni nastro invece di leggere in modo casuale i file da nastri diversi (per evitare il caricamento costante, lo scaricamento e la ricerca). Questo approccio consente di ottenere la massima velocità effettiva possibile ed è sempre il percorso di migrazione più veloce. La definizione delle priorità dei dati accetta i requisiti aziendali e la fattibilità tecnica per ottenere i migliori risultati.

4. La progettazione della migrazione include tutti gli aspetti tecnici della migrazione e le informazioni raccolte per formare un processo di migrazione finale. Si tratta di un documento scritto che diventa fonte di verità per le fasi rimanenti. Deve contenere almeno:

   • cancellare il processo di migrazione e la scadenza della migrazione,
   • hardware e requisiti del personale,
   • infrastruttura e progettazione di rete,
   • considerazioni sulla sicurezza,
   • come gestire nastri illeggibili,
   • ruoli, responsabilità e così via.

Fase di migrazione

Una volta completata la progettazione della migrazione, si avvia il processo di migrazione. Prima di raggiungere il ritmo di migrazione completo, viene sempre eseguito un test con un campione più piccolo. L'obiettivo del test è assicurarsi che il processo end-to-end funzioni. Ci consente di apportare modifiche e migliorare il processo. Una volta completato il test e i risultati sono soddisfatti, viene eseguita la migrazione. La fase di migrazione è leggermente diversa se si usano file nativi e nastri virtuali. In entrambi i casi, si tratta di un processo ripetitivo che cerchi tutti i nastri e ne legge l'intero contenuto. Questo diagramma di flusso mostra la fase di migrazione durante la migrazione ai file nativi.

Convalida dei dati

Per ogni file di cui viene eseguita la migrazione, è necessario eseguire la convalida dei dati per assicurarsi che i dati non siano stati danneggiati durante il processo di migrazione. La convalida dei dati viene eseguita confrontando i valori hash prima della migrazione e dopo la migrazione. Esistono molti tipi di algoritmi hash che possono essere usati. Un approccio comune consiste nell'usare MD5 perché Archiviazione di Azure contiene un campo di metadati predefinito Content-MD5 che può essere compilato durante la migrazione. Questo approccio consente di controllare lo stesso valore MD5 quando si accede ai dati per verificare che i dati non vengano modificati o danneggiati. In una situazione ideale, i dati di origine contengono già valori hash che possono essere facilmente confrontati con i valori hash dopo la migrazione. Se gli hash non esistono, devono essere calcolati prima della migrazione del file. Se gli hash corrispondono, il file viene contrassegnato come migrato. In caso contrario, il file viene rimosso ed è stata eseguita di nuovo la migrazione. In alcuni casi i dati sono danneggiati sui nastri di origine. La presenza dei valori hash originali consente di rilevare questi rari casi. In caso affermativo, è possibile leggere i dati dalla copia secondaria, se esistente. Il processo di convalida dei dati è un componente fondamentale per una progettazione della migrazione. È necessario definire il processo per la gestione della convalida non riuscita. La fase di migrazione viene inoltre costantemente monitorata per assicurarsi di poter reagire a una situazione imprevedibile e adattarla. La segnalazione regolare agli stakeholder principali è importante per tenere traccia della migrazione.

Fase di post-migrazione

Al termine della migrazione, è necessario prendere in considerazione alcuni passaggi prima di chiudere correttamente il progetto di migrazione. È necessario eliminare l'hardware usato per la migrazione, se non è più necessario. La domanda più importante è come eliminare i nastri. Lo smaltimento dei nastri è un processo a due passaggi. Se i nastri archiviano informazioni riservate e riservate (e in genere lo fanno), devono essere prima decrescente. Il degossing garantisce che tutti i dati vengano eliminati magneticamente dai supporti. Dopo l'eliminazione, i nastri devono essere eliminati correttamente e riciclati. Se è stato usato un partner di migrazione di nastri, è anche possibile consentire al partner di eliminare in modo sicuro i nastri.

Passaggi successivi

• Panoramica di Archiviazione di Azure
• Importazione di supporti offline di Azure
• Confrontare le opzioni di trasferimento dei dati
• Panoramica della migrazione dell'archiviazione