ARMAZENAMENTO
Dentro da AWS Cloud, existem várias opções de serviços para diferentes tipos de arquiteturas. No que diz respeito aos diferentes tipos de serviços de armazenamento da AWS, este guia fornecerá uma visão abrangente sobre como decidir qual das opções de armazenamento da AWS escolher e qual dos serviços de armazenamento da AWS é ideal para qualquer caso de uso específico.
Embora possa parecer desafiador escolher o serviço de armazenamento correto da lista de serviços de armazenamento da AWS, este guia tornará essa tarefa gerenciável, fornecendo uma comparação sucinta de cada serviço de armazenamento da AWS.
Amazon Simple Storage Service (S3)
O Amazon S3 é um armazenamento de objetos projetado para armazenar e recuperar qualquer quantidade de dados de qualquer lugar – sites e aplicativos móveis, aplicativos corporativos e dados de sensores ou dispositivos IoT.
Você pode armazenar qualquer tipo de arquivo no S3.
O S3 é projetado para fornecer durabilidade de 99,999999999% e armazena dados para milhões de aplicativos usados por líderes de mercado em todas as indústrias.
O S3 oferece recursos abrangentes de segurança e conformidade que atendem até mesmo aos requisitos regulatórios mais rigorosos.
O S3 oferece flexibilidade aos clientes na forma como gerenciam dados para otimização de custos, controle de acesso e conformidade.
Casos de uso típicos incluem:
- Backup e Armazenamento – Fornecer serviços de backup e armazenamento de dados para terceiros.
- Hospedagem de Aplicativos – Fornecer serviços que implantam, instalam e gerenciam aplicativos da web.
- Hospedagem de Mídia – Construir uma infraestrutura redundante, escalável e altamente disponível que hospeda uploads e downloads de vídeo, foto ou música.
- Entrega de Software – Hospedar seus aplicativos de software que os clientes podem baixar.
- Site Estático – você pode configurar um site estático para ser executado a partir de um bucket S3.
O S3 fornece funcionalidade de consulta no local, permitindo executar análises poderosas diretamente em seus dados em repouso no S3. E o Amazon S3 é o serviço de armazenamento em nuvem mais compatível, com integração da maior comunidade de soluções de terceiros, parceiros integradores de sistemas e outros serviços da AWS.
Os arquivos podem ter de 0 bytes a 5 TB.
Não há limite de armazenamento disponível.
Os arquivos são armazenados em buckets e são chamados de objetos.
Buckets são pastas de nível raiz.
Qualquer subpasta em um bucket, é conhecida como “pasta”.
O S3 é um namespace universal, então os nomes de buckets devem ser exclusivos globalmente.
Ao criar um bucket, você precisa selecionar a região onde ele será criado.
Atenção: Enquanto o Amazon S3 é um serviço global, o Bucket S3 é um serviço regional.
É uma prática recomendada criar buckets em regiões fisicamente mais próximas de seus usuários para reduzir a latência.
Existem oito classes de armazenamento do S3:
- S3 Padrão (durável, imediatamente disponível, acessado com frequência).
- S3 Intelligent-Tiering (move automaticamente dados para a camada mais econômica).
- S3 Padrão-IA (durável, imediatamente disponível, acessado com pouca frequência).
- S3 One Zone-IA (custo mais baixo para dados acessados com pouca frequência, com menos resiliência).
- S3 Glacier Instant Retrieval (dados raramente acessados e que exigem recuperação em milissegundos).
- S3 Glacier Flexible Retrieval (dados arquivados, tempos de recuperação em minutos ou horas).
- S3 Glacier Deep Archive (classe de armazenamento de menor custo para retenção de longo prazo).
- S3 Outpost (armazenamento de objetos para seu ambiente de AWS Outposts on-premises).
Quando você carrega com sucesso um arquivo no S3, recebe um código HTTP 200.
O S3 é um armazenamento de dados persistente e altamente durável.
Armazenamentos de dados persistentes são sistemas de armazenamento não voláteis que mantêm os dados quando desligados.
Isso contrasta com armazenamentos de dados transitórios e armazenamentos efêmeros que perdem os dados quando desligados.
A tabela a seguir fornece uma descrição de armazenamentos de dados persistentes, transitórios e efêmeros e qual serviço da AWS usar:
TIPO DE ARMAZENAMENTO | DESCRIÇÃO | EXEMPLOS |
|---|---|---|
Persistente | Dados são duráveis e permanecem após reinicializações, reinícios ou ciclos de energia. | S3, Glacier, EBS, EFS |
Transitório | Dados são apenas armazenados temporariamente e passados para outro processo ou armazenamento persistente. | SQS, SNS |
Efêmero | Dados são perdidos quando o sistema é desligado. | Armazenamento de Instância EC2, Memcached |
Os nomes dos buckets devem seguir um conjunto de regras:
- Nomes devem ser únicos em toda a AWS.
- Nomes devem ter de 3 a 63 caracteres de comprimento.
- Nomes podem conter apenas letras minúsculas, números e hífens.
- Nomes não podem ser formatados como um endereço IP.
Objetos consistem em:
- Chave (nome do objeto).
- Valor (dados compostos por uma sequência de bytes).
- ID da Versão (usado para versionamento).
- Metadados (dados sobre os dados armazenados).
- Subrecursos:
- Listas de Controle de Acesso.
- Torrent.
- Compartilhamento de objetos – a capacidade de tornar qualquer objeto disponível publicamente por meio de uma URL.
Gerenciamento de ciclo de vida:
Define regras para transferir objetos entre classes de armazenamento em intervalos de tempo definidos.
Versionamento:
Mantém automaticamente várias versões de um objeto (quando ativado).
A criptografia pode ser habilitada para o bucket.
Os dados são protegidos usando ACLs e políticas de bucket.
Cobranças:
- Armazenamento.
- Requisições.
- Custos de gerenciamento de armazenamento.
- Custos de transferência de dados.
- Aceleração de transferência.
Recursos adicionais:
CAPACIDADE ADICIONAL DO AMAZON S3 | COMO FUNCIONA |
|---|---|
Aceleração de Transferência | Acelera uploads de dados usando o CloudFront em sentido inverso. |
Solicitante Paga | O solicitante, em vez do proprietário do bucket, paga por solicitações e transferência de dados. |
TAGs | Atribui tags a objetos para uso em custos, faturamento, segurança etc. |
Eventos | Dispara notificações para SNS, SQS ou Lambda quando ocorrem eventos específicos em seu bucket. |
Website com Hospedagem Estática | Hospedagem de site estático simples e massivamente escalável. |
BitTorrent | Usa o protocolo BitTorrent para recuperar qualquer objeto disponível publicamente, gerando automaticamente um arquivo .torrent. |
Família Snow
Com o AWS Snowball, você pode transferir centenas de terabytes ou petabytes de dados entre seus data centers locais e o Amazon Simple Storage Service (Amazon S3).
Utiliza um dispositivo de armazenamento seguro para transporte físico.
O AWS Snowball Client é um software instalado em um computador local e é usado para identificar, compactar, criptografar e transferir dados.
Utiliza criptografia de 256 bits (gerenciada com o AWS KMS) e invólucros à prova de violação com TPM.
A tabela abaixo descreve as ofertas do AWS Snow em um nível elevado:
ARMAZENAMENTO | DESCRIÇÃO DE USO |
|---|---|
AWS Snowball | Transferência massiva de dados, armazenamento de borda e computação de borda. |
AWS Snowcone | O menor dispositivo da linha, mais adequado para ambientes inóspitos, missões e locais onde a Internet é limitada ou não existe. |
Snowball pode importar para o S3 ou exportar do S3.
O Snowball deve ser solicitado e devolvido à mesma região.
Para acelerar a transferência de dados, é recomendável executar instâncias simultâneas do AWS Snowball Client em terminais múltiplos e transferir pequenos arquivos em lotes.
Amazon Elastic Block Store (EBS)
O Amazon Elastic Block Store (Amazon EBS) fornece volumes de armazenamento de bloco persistentes para uso com instâncias Amazon EC2 na AWS Cloud.
Cada volume do Amazon EBS é automaticamente replicado dentro da sua Zona de Disponibilidade para protegê-lo contra falhas de componentes, oferecendo alta disponibilidade e durabilidade.
Os volumes do Amazon EBS oferecem desempenho consistente e baixa latência necessários para executar suas cargas de trabalho.
Com o Amazon EBS, você pode dimensionar o uso para cima ou para baixo em minutos – tudo isso pagando um preço baixo apenas pelo que você provisiona.
Volumes de unidade de estado sólido (SSD):
Os dados do volume EBS persistem independentemente da vida da instância.
Os volumes EBS não precisam estar anexados a uma instância.
Você pode anexar vários volumes EBS a uma instância.
Você não pode anexar um volume EBS a várias instâncias (use o EFS – Elastic File Store em vez disso).
Os volumes EBS devem estar na mesma Zona de Disponibilidade das instâncias às quais estão anexados.
A proteção contra terminação está desativada por padrão e deve ser ativada manualmente (mantém o volume/dados quando a instância é terminada).
Os volumes EBS de raiz são excluídos por padrão na terminação.
Volumes adicionais não de inicialização não são excluídos por padrão na terminação.
O comportamento pode ser alterado alterando o atributo “DeleteOnTermination”.
Snapshots do EBS:
- Capturam um estado pontual de uma instância.
- São armazenados no S3.
- Não oferecem backup granular (não substituem software de backup).
- Se você criar snapshots periódicos de um volume, os snapshots são incrementais, o que significa que apenas os blocos no dispositivo que mudaram desde o último snapshot são salvos no novo snapshot.
- Mesmo que os snapshots sejam salvos incrementalmente, o processo de exclusão de snapshots é projetado para que você precise manter apenas o snapshot mais recente para restaurar o volume.
- Os snapshots só podem ser acessados por meio das APIs da EC2.
- Os volumes EBS são específicos da Zona de Disponibilidade, mas os snapshots são específicos da região.
Volumes da Store de Instâncias:
- Os volumes da store de instâncias são discos locais de alta performance fisicamente conectados ao computador host em que uma instância EC2 é executada.
- As stores de instâncias são efêmeras, o que significa que os dados são perdidos quando desligados (não persistentes).
- As stores de instâncias são ideais para o armazenamento temporário de informações que mudam com frequência, como buffers, caches ou dados temporários.
- Os volumes da store de instâncias raiz são criados a partir de modelos de AMI armazenados no S3.
- Os volumes da store de instâncias não podem ser destacados/reattached.
Amazon Elastic File System (EFS):
O EFS é um serviço totalmente gerenciado que facilita a configuração e o dimensionamento do armazenamento de arquivos na Amazon Cloud.
Bom para big data e análises, fluxos de trabalho de processamento de mídia, gerenciamento de conteúdo, servidores web, diretórios domésticos, etc.
O EFS usa o protocolo NFS.
Pague pelo que você usa (nenhuma pré-provisionamento é necessário).
Pode escalar até petabytes.
O EFS é elástico e cresce e diminui à medida que você adiciona e remove dados.
Pode conectar simultaneamente de 1 a milhares de instâncias EC2, de várias Zonas de Disponibilidade.
Um sistema de arquivos pode ser acessado simultaneamente de todas as Zonas de Disponibilidade na região onde está localizado.
Por padrão, você pode criar até 10 sistemas de arquivos por conta.
O acesso local pode ser habilitado via Direct Connect ou AWS VPN.
Pode escolher Geral ou Máx. I/O (ambos SSD).
A VPC da instância conectada deve ter os nomes de host DNS habilitados.
O EFS fornece uma interface de sistema de arquivos, semântica de acesso ao sistema de arquivos (como consistência forte e bloqueio de arquivos).
Os dados são armazenados em várias Zonas de Disponibilidade dentro de uma região.
Consistência de leitura após gravação.
É necessário criar alvos de montagem e escolher Zonas de Disponibilidade para incluir (recomendado incluir todas as Zonas de Disponibilidade).
As instâncias podem estar atrás de um ELB.
O EFS possui dois modo de desempenho:
- O modo de desempenho “Geral” é apropriado para a maioria dos sistemas de arquivos.
- O modo de desempenho “Máx. I/O” é otimizado para aplicativos nos quais dezenas, centenas ou milhares de instâncias EC2 estão acessando o sistema de arquivos.
O Amazon EFS é projetado para fazer burst para permitir níveis de throughput elevados por períodos de tempo.
Amazon Elastic File System (EFS):
O EFS é um serviço totalmente gerenciado que facilita a configuração e o dimensionamento do armazenamento de arquivos na Amazon Cloud.
Bom para big data e análises, fluxos de trabalho de processamento de mídia, gerenciamento de conteúdo, servidores web, diretórios domésticos, etc.
O EFS usa o protocolo NFS.
Pague pelo que você usa (nenhuma pré-provisionamento é necessário).
Pode escalar até petabytes.
O EFS é elástico e cresce e diminui à medida que você adiciona e remove dados.
Pode conectar simultaneamente de 1 a milhares de instâncias EC2, de várias Zonas de Disponibilidade.
Um sistema de arquivos pode ser acessado simultaneamente de todas as Zonas de Disponibilidade na região onde está localizado.
Por padrão, você pode criar até 10 sistemas de arquivos por conta.
O acesso local pode ser habilitado via Direct Connect ou AWS VPN.
Pode escolher Geral ou Máx. I/O (ambos SSD).
A VPC da instância conectada deve ter os nomes de host DNS habilitados.
O EFS fornece uma interface de sistema de arquivos, semântica de acesso ao sistema de arquivos (como consistência forte e bloqueio de arquivos).
Os dados são armazenados em várias Zonas de Disponibilidade dentro de uma região.
Consistência de leitura após gravação.
É necessário criar alvos de montagem e escolher Zonas de Disponibilidade para incluir (recomendado incluir todas as Zonas de Disponibilidade).
As instâncias podem estar atrás de um ELB.
O EFS possui dois modo de desempenho:
- O modo de desempenho “Geral” é apropriado para a maioria dos sistemas de arquivos.
- O modo de desempenho “Máx. I/O” é otimizado para aplicativos nos quais dezenas, centenas ou milhares de instâncias EC2 estão acessando o sistema de arquivos.
O Amazon EFS é projetado para fazer burst para permitir níveis de throughput elevados por períodos de tempo.
AWS Storage Gateway:
O AWS Storage Gateway é um serviço de armazenamento em nuvem híbrida que oferece acesso local a praticamente armazenamento em nuvem ilimitado.
Os clientes usam o Storage Gateway para simplificar a gestão de armazenamento e reduzir custos para casos de uso-chave de armazenamento em nuvem híbrida.
Estes incluem mover backups para a nuvem, usar compartilhamentos de arquivos locais apoiados por armazenamento em nuvem e fornecer acesso de baixa latência a dados na AWS para aplicativos locais.
Para suportar esses casos de uso, o Storage Gateway oferece três tipos diferentes de gateways:
- File Gateway – fornece interfaces de sistema de arquivos para servidores locais.
- Volume Gateway – fornece acesso baseado em bloco para servidores locais.
- Tape Gateway – fornece uma biblioteca de fitas virtual compatível com software comum de backup (interfaces de bloco e arquivo).
AWS Backup:
O serviço AWS Backup oferece um console de backup centralizado, APIs e interface de linha de comando para gerenciar backups em serviços da AWS, incluindo:
- Amazon Simple Storage Service (S3)
- Amazon Elastic Block Store (EBS)
- Amazon FSx
- Amazon Elastic Compute Cloud (EC2)
- Amazon Relational Database Service (RDS)
- Amazon DynamoDB
- Amazon Elastic File System (EFS)
- AWS Storage Gateway … e mais
O AWS Backup permite gerenciar centralmente políticas de backup que atendem aos requisitos de backup e aplicá-las em todos os seus recursos da AWS em serviços da AWS, bem como em cargas de trabalho de nuvem híbrida. Isso permite fazer backup consistentemente dos dados de sua aplicação e em conformidade com os requisitos de conformidade. Além disso, o console de backup centralizado do AWS Backup oferece uma visão consolidada dos backups e logs de atividades de backup, tornando mais fácil auditar seus backups.
Amazon FSX para Lustre:
Para cargas de trabalho de computação, o Amazon FSx para Lustre fornece armazenamento escalável, de alto desempenho e de custo efetivo. Baseado no Lustre, o sistema de arquivos de alto desempenho mais popular do mundo, o FSx para Lustre fornece armazenamento compartilhado com latências sub-ms, até terabytes de throughput e milhões de IOPS. Também é possível vincular sistemas de arquivos FSx para Lustre aos buckets do Amazon Simple Storage Service (S3), permitindo acessar e processar dados simultaneamente de ambos.
Alguns dos computadores mais rápidos do mundo usam o sistema de arquivos Lustre de código aberto para processar conjuntos de dados em crescimento rápido e de forma econômica. Ele é adequado para cargas de trabalho que vão desde sequenciamento de genoma até transcoding de vídeo, aprendizado de máquina e detecção de fraudes.
Amazon FSX for Windows File Server
Com o Amazon FSx for Windows File Server, suas aplicações e usuários finais podem acessar armazenamento de arquivos compartilhado confiável, de alto desempenho e seguro. Usando o Amazon FSx, você pode criar sistemas de arquivos altamente disponíveis e duráveis que abrangem várias zonas de disponibilidade (AZs) e podem ser acessados por milhares de instâncias de computação.
Além de fornecer um conjunto abrangente de recursos administrativos e de segurança, ele também se integra ao Microsoft Active Directory (AD). Para uma variedade de cargas de trabalho, o Amazon FSx oferece altos níveis de throughput e IOPS no sistema de arquivos, bem como latências consistentes de submilissegundos.
Baseado no Windows Server, o Amazon FSx inclui um conjunto rico de recursos administrativos, incluindo restauração de arquivos para usuários finais, cotas de usuários e listas de controle de acesso (ACLs). O Windows Server oferece suporte nativo ao protocolo SMB, permitindo que aplicativos baseados no Windows acessem o armazenamento de arquivos compartilhado.
Os compartilhamentos de arquivos SMB também podem ser acessados a partir de Linux e MacOS, permitindo que qualquer aplicativo ou usuário acesse o armazenamento. O AWS Microsoft Managed AD e o Microsoft Active Directory local podem ser integrados ao Amazon FSx para controlar o acesso do usuário.