Como Cloud Architect, você sabe que o armazenamento é um dos recursos mais importantes em qualquer organização. Todos os dias, milhares de novos arquivos e documentos são gerados, modificados e acessados na sua empresa. Você estabelece um plano de recuperação de desastres bem-sucedido para armazenar backups e criar uma arquitetura redundante, incluindo:

• Armazenamento seguro, escalonável e altamente disponível no nível do objeto
• Controle de acesso granular
• Controle de versões
• Recursos de gerenciamento de ciclo de vida
• Sincronização direta entre diretórios no local e na nuvem

Na Amazon Web Services (AWS), você usa o Simple Storage Service (S3) como sua solução de armazenamento de objetos.

Para o controle granular de acesso, você usa uma combinação de políticas de bucket, políticas do Identity and Access Management (IAM) e listas de controle de acesso (ACLs) para gerenciar quem tem acesso a um bucket inteiro e a objetos individuais. Dentro de um bucket do S3, os objetos também podem ser criptografados com chaves gerenciadas pela AWS ou pelo cliente, oferecendo uma camada extra de segurança.

Você configura o controle de versão para evitar a exclusão acidental e a substituição de arquivos importantes. Também é possível otimizar os custos configurando políticas de ciclo de vida que movem objetos automaticamente de uma classe de armazenamento para outra com base em padrões de acesso. Para a sincronização de diretórios, é possível espelhar locais para garantir que as mudanças nas origens sejam refletidas no destino, permitindo a replicação dos dados.

Agora você vai conhecer os vários recursos do Cloud Storage para armazenar com segurança seus dados no Google Cloud usando o console do Cloud e a ferramenta gsutil.

Visão geral

O Cloud Storage é um recurso fundamental do Google Cloud com várias funcionalidades avançadas. Neste laboratório, você vai usar algumas funcionalidades do Cloud Storage que podem ser úteis para seus projetos. Você também conhecerá melhor o Cloud Storage pelo console e com a ferramenta gsutil.

Objetivos

O que você fará neste laboratório:

• Criar e usar buckets
• Definir listas de controle para restringir o acesso
• Usar suas próprias chaves de criptografia
• Implementar controles de versão
• Usar a sincronização de diretórios

Configuração do Qwiklabs

Para cada laboratório, você recebe um novo projeto do Google Cloud e um conjunto de recursos por um determinado período sem custo financeiro.

1. Clique no botão Começar o laboratório. Se for preciso pagar, você verá um pop-up para selecionar a forma de pagamento. No painel Detalhes do laboratório à esquerda, você vai encontrar o seguinte:

   • O botão Abrir console do Google Cloud
   • O tempo restante
   • As credenciais temporárias que você vai usar neste laboratório
   • Outras informações, se forem necessárias

2. Se você estiver usando o navegador Chrome, clique em Abrir console do Google Cloud ou clique com o botão direito do mouse e selecione Abrir link em uma janela anônima.

   O laboratório ativa os recursos e depois abre a página Fazer login em outra guia.

   Dica: coloque as guias em janelas separadas lado a lado.

   Observação: se aparecer a caixa de diálogo Escolher uma conta, clique em Usar outra conta.

3. Se necessário, copie o Nome de usuário abaixo e cole na caixa de diálogo Fazer login.

   {{{user_0.username | "Nome de usuário"}}}

   Você também encontra o Nome de usuário no painel Detalhes do laboratório.

4. Clique em Seguinte.

5. Copie a Senha abaixo e cole na caixa de diálogo de boas-vindas.

   {{{user_0.password | "Senha"}}}

   Você também encontra a Senha no painel Detalhes do laboratório.

6. Clique em Seguinte.

   Importante: você precisa usar as credenciais fornecidas no laboratório, e não as da sua conta do Google Cloud. Observação: se você usar sua própria conta do Google Cloud neste laboratório, é possível que receba cobranças adicionais.

7. Acesse as próximas páginas:

   • Aceite os Termos e Condições.
   • Não adicione opções de recuperação nem autenticação de dois fatores (porque essa é uma conta temporária).
   • Não se inscreva em testes gratuitos.

Depois de alguns instantes, o console do Google Cloud será aberto nesta guia.

Observação: para acessar uma lista de produtos e serviços do Google Cloud, clique no Menu de navegação no canto superior esquerdo ou digite o nome do serviço ou produto no campo Pesquisar.

Tarefa 1. preparação

Na tarefa, você vai criar um bucket do Cloud Storage. Em seguida, baixe um arquivo de exemplo que será usado na próxima tarefa.

Criar um bucket do Cloud Storage

1. No console do Google Cloud, acesse o Menu de navegação () e clique em Cloud Storage > Buckets.

Observação: os buckets precisam ter um nome único em nível global. É possível usar parte do seu PROJECT_ID_1 no nome para torná-lo exclusivo. Por exemplo, se o PROJECT_ID_1 for myproj-154920, o nome do bucket pode ser storecore154920

2. Clique em Criar.
3. Especifique os seguintes valores e não mude as configurações restantes:

Propriedade	Valor (digite o valor ou selecione a opção conforme especificado)
Nome	Insira um nome exclusivo globalmente
Tipo de local	Região
Região
Aplicar a prevenção do acesso público neste bucket	não marcada
Controle de acesso	Detalhado (permissões no nível do objeto, além das permissões no nível do bucket)

4. Anote o nome do bucket. Ele será usado posteriormente neste laboratório e indicado como [BUCKET_NAME_1].
5. Clique em Criar.

Clique em Verificar meu progresso para ver o objetivo. Crie um bucket do Cloud Storage

Faça o download de um arquivo de amostra usando CURL e depois faça duas cópias do arquivo

1. No console do Cloud, clique em Ativar o Cloud Shell ().
2. Se for solicitado, clique em Continuar.
3. Armazene [BUCKET_NAME_1] em uma variável de ambiente:

export BUCKET_NAME_1=<enter bucket name 1 here>

4. Verifique usando o comando "echo":

echo $BUCKET_NAME_1

5. Execute o comando a seguir para fazer o download de um arquivo de amostra (nesse caso, um arquivo HTML público da documentação do Hadoop):

curl \ https://hadoop.apache.org/docs/current/\ hadoop-project-dist/hadoop-common/\ ClusterSetup.html > setup.html

6. Para fazer as cópias do arquivo, execute os seguintes comandos:

cp setup.html setup2.html cp setup.html setup3.html

Tarefa 2. listas de controle de acesso (ACLs)

Nesta tarefa, você vai definir listas de controle de acesso para restringir o acesso ao arquivo copiado para o bucket do Cloud Storage.

Copie o arquivo para o bucket e configure a lista de controle de acesso

1. Copie o primeiro arquivo para o bucket executando o seguinte comando:

gcloud storage cp setup.html gs://$BUCKET_NAME_1/

2. Para conseguir a lista de acesso padrão atribuída a setup.html, execute o seguinte comando:

gsutil acl get gs://$BUCKET_NAME_1/setup.html > acl.txt cat acl.txt

3. Para definir a lista de acesso como privada e verificar os resultados, execute os seguintes comandos:

gsutil acl set private gs://$BUCKET_NAME_1/setup.html gsutil acl get gs://$BUCKET_NAME_1/setup.html > acl2.txt cat acl2.txt

4. Para atualizar a lista de acesso e tornar o arquivo publicamente legível, execute os seguintes comandos:

gsutil acl ch -u AllUsers:R gs://$BUCKET_NAME_1/setup.html gsutil acl get gs://$BUCKET_NAME_1/setup.html > acl3.txt cat acl3.txt

Clique em Verificar meu progresso para ver o objetivo. Permita que qualquer usuário leia o arquivo.

Analise o arquivo no Console do Cloud

1. No console do Google Cloud, acesse o Menu de navegação () e clique em Cloud Storage > Buckets.
2. Clique em [BUCKET_NAME_1].
3. Na seção Acesso público do arquivo setup.html, verifique se há um Link público disponível.

Exclua o arquivo local e copie o do Cloud Storage

1. Volte para o Cloud Shell. Se for necessário, clique em Ativar o Cloud Shell ().
2. Execute este comando para excluir o arquivo de configuração:

rm setup.html

3. Para verificar se o arquivo foi excluído, execute o seguinte comando:

ls

4. Para copiar o arquivo do bucket novamente, execute o seguinte comando:

gcloud storage cp gs://$BUCKET_NAME_1/setup.html setup.html

Tarefa 3. gerar chaves de criptografia fornecidas pelo cliente (CSEK)

Nesta tarefa, você vai gerar uma chave CSEK para criptografar os arquivos armazenados no bucket do Cloud Storage.

Gere uma chave CSEK

Para a próxima etapa, você precisa de uma chave AES-256 codificada em base64.

1. Execute este comando para criar uma chave:

python3 -c 'import base64; import os; print(base64.encodebytes(os.urandom(32)))'

Resultado (este é um exemplo de saída):

b'tmxElCaabWvJqR7uXEWQF39DhWTcDvChzuCmpHe6sb0=\n'

2. Copie o valor da chave gerada excluindo b' e \n' da resposta ao comando. A chave deve ter o formato tmxElCaabWvJqR7uXEWQF39DhWTcDvChzuCmpHe6sb0=.

Modifique o arquivo boto

Os controles de criptografia estão em um arquivo de configuração gsutil chamado .boto.

1. Execute estes comandos para ver e abrir o arquivo boto:

ls -al nano .boto

Observação: se o arquivo .boto estiver vazio, feche o editor nano pressionando Ctrl+X e gere um novo arquivo .boto usando o comando gsutil config -n. Depois tente mais uma vez usar os comandos acima para abrir o arquivo.

Se o arquivo .boto ainda estiver vazio, tente localizá-lo com o comando gsutil version -l.

2. Use "#encryption_key=" para localizar a linha.

Observação: na parte de baixo do editor nano, você pode usar atalhos para navegar rapidamente pelos arquivos. Use o atalho Onde está para localizar a linha com #encryption_key=.

3. Retire o comentário da linha removendo o caractere # e cole a chave gerada anteriormente no final.

Exemplo (este é um exemplo):

Antes: # encryption_key= Depois: encryption_key=tmxElCaabWvJqR7uXEWQF39DhWTcDvChzuCmpHe6sb0=

4. Pressione Ctrl+O, ENTER para salvar o arquivo boto e depois pressione Ctrl+X para sair do nano.

Faça upload dos arquivos de configuração restantes (criptografados) e verifique o progresso no Console do Cloud

1. Para fazer upload dos arquivos setup.html restantes, execute os seguintes comandos:

gsutil cp setup2.html gs://$BUCKET_NAME_1/ gsutil cp setup3.html gs://$BUCKET_NAME_1/

2. Volte ao Console do Cloud.
3. Clique em [BUCKET_NAME_1]. Os arquivos setup2.html e setup3.html mostram que eles são criptografados pelo cliente.

Clique em Verificar meu progresso para ver o objetivo. Chaves de criptografia fornecidas pelo cliente (CSEK)

Exclua os arquivos locais, copie os novos arquivos e verifique a criptografia

1. Para excluir os arquivos locais, execute este comando no Cloud Shell:

rm setup*

2. Para copiar os arquivos do bucket novamente, execute o seguinte comando:

gsutil cp gs://$BUCKET_NAME_1/setup* ./

3. Para usar o comando cat nos arquivos criptografados e ver se eles retornaram, execute os seguintes comandos:

cat setup.html cat setup2.html cat setup3.html

Tarefa 4: alternar as chaves CSEK

Nesta tarefa, você vai alternar a CSEK usada para criptografar os dados no Cloud Storage, garantindo a segurança contínua dos dados.

Mude a chave de criptografia CSEK atual para a chave de descriptografia

1. Execute este comando para abrir o arquivo .boto:

nano .boto

2. Adicione o caractere # ao começo da linha encryption_key atual para convertê-la em comentário.

Observação: na parte de baixo do editor nano, você pode usar atalhos para navegar rapidamente pelos arquivos. Use o atalho Onde está para localizar a linha com #encryption_key=.

3. Remova a marca de comentário # de decryption_key1 e copie a chave atual da linha encryption_key para a linha decryption_key1.

Resultado (este é um exemplo de saída):

Antes: encryption_key=2dFWQGnKhjOcz4h0CudPdVHLG2g+OoxP8FQOIKKTzsg= # decryption_key1= Depois: # encryption_key=2dFWQGnKhjOcz4h0CudPdVHLG2g+OoxP8FQOIKKTzsg= decryption_key1=2dFWQGnKhjOcz4h0CudPdVHLG2g+OoxP8FQOIKKTzsg=

4. Pressione Ctrl+O, ENTER para salvar o arquivo boto e depois pressione Ctrl+X para sair do nano.

Observação: na prática, é possível excluir a chave CSEK antiga da linha encryption_key.

Gere outra chave CSEK e a adicione ao arquivo boto

1. Execute este comando para gerar uma chave nova:

python3 -c 'import base64; import os; print(base64.encodebytes(os.urandom(32)))'

2. Copie o valor da chave gerada excluindo b' e \n' da resposta ao comando. A chave deve ter o formato tmxElCaabWvJqR7uXEWQF39DhWTcDvChzuCmpHe6sb0=.
3. Para abrir o arquivo boto, execute o seguinte comando:

nano .boto

4. Remova a marca de comentário da criptografia e cole o novo valor da chave em encryption_key=.

Resultado (este é um exemplo de saída):

Antes: # encryption_key=2dFWQGnKhjOcz4h0CudPdVHLG2g+OoxP8FQOIKKTzsg= Depois: encryption_key=HbFK4I8CaStcvKKIx6aNpdTse0kTsfZNUjFpM+YUEjY=

5. Pressione Ctrl+O, ENTER para salvar o arquivo boto e depois pressione Ctrl+X para sair do nano.

Reescreva a chave do arquivo 1 e marque como um comentário a antiga chave de descriptografia

Quando você reescreve um arquivo criptografado, a criptografia é removida por decryption_key1, que você definiu anteriormente, e o arquivo é criptografado depois com a nova encryption_key.

Você está reescrevendo a chave do setup2.html, mas não do setup3.html, para poder ver o que acontece se não alternar as chaves corretamente.

1. Execute este comando:

gsutil rewrite -k gs://$BUCKET_NAME_1/setup2.html

2. Para abrir o arquivo boto, execute o seguinte comando:

nano .boto

3. Adicione novamente o caractere # à linha decryption_key1 atual para convertê-la em comentário.

Resultado (este é um exemplo de saída):

Antes: decryption_key1=2dFWQGnKhjOcz4h0CudPdVHLG2g+OoxP8FQOIKKTzsg= Depois: # decryption_key1=2dFWQGnKhjOcz4h0CudPdVHLG2g+OoxP8FQOIKKTzsg=

4. Pressione Ctrl+O, ENTER para salvar o arquivo boto e depois pressione Ctrl+X para sair do nano.

Observação: na prática, é possível excluir a chave CSEK antiga da linha decryption_key1.

Faça o download de setup2 e setup3

1. Para fazer o download de setup2.html, execute o seguinte comando:

gsutil cp gs://$BUCKET_NAME_1/setup2.html recover2.html

2. Para fazer o download de setup3.html, execute o seguinte comando:

gsutil cp gs://$BUCKET_NAME_1/setup3.html recover3.html Observação: o que aconteceu? setup3.html não foi reescrito com a nova chave e, por isso, não pode mais ser descriptografado. Dessa forma, a cópia falhará.

As chaves CSEK foram alternadas.

Tarefa 5. ativar o gerenciamento de ciclo de vida

Nesta tarefa, você vai ativar o gerenciamento do ciclo de vida de um bucket do Cloud Storage para automatizar a exclusão de objetos depois de um período especificado.

Veja a política atual do ciclo de vida do bucket

• Execute este comando para ver a política de ciclo de vida atual:

gsutil lifecycle get gs://$BUCKET_NAME_1 Observação: o ciclo de vida não foi configurado. Você vai criar um nas próximas etapas.

Crie um arquivo JSON de política de ciclo de vida

1. Para criar um arquivo chamado life.json, execute o seguinte comando:

nano life.json

2. Cole o seguinte valor no arquivo life.json:

{ "rule": [ { "action": {"type": "Delete"}, "condition": {"age": 31} } ] } Observação: de acordo com estas instruções, o Cloud Storage precisa excluir o objeto após 31 dias.

3. Pressione Ctrl+O, ENTER para salvar o arquivo e depois pressione Ctrl+X para sair do nano.

Defina a política e verifique

1. Para definir a política, execute o seguinte comando:

gsutil lifecycle set life.json gs://$BUCKET_NAME_1

2. Para verificar a política, execute o seguinte comando:

gsutil lifecycle get gs://$BUCKET_NAME_1

Clique em Verificar meu progresso para ver o objetivo. Ative o gerenciamento de ciclo de vida

Tarefa 6. ativar o controle de versões

Nesta tarefa, você vai ativar o controle de versões em um bucket do Cloud Storage para proteger os dados contra exclusão ou modificação acidental.

Veja o status da versão do bucket e ative o controle de versões

1. Execute este comando para ver o status atual do controle de versões do bucket:

gsutil versioning get gs://$BUCKET_NAME_1 Observação: uma política suspensa significa que ela não está ativada.

2. Para ativar o controle de versões, execute o seguinte comando:

gsutil versioning set on gs://$BUCKET_NAME_1

3. Para verificar se o controle de versões foi ativado, execute o seguinte comando:

gsutil versioning get gs://$BUCKET_NAME_1

Clique em Verificar meu progresso para ver o objetivo. Ative o controle de versões

Crie várias versões do arquivo de amostra no bucket

1. Verifique o tamanho do arquivo de amostra:

ls -al setup.html

2. Abra o arquivo setup.html:

nano setup.html

3. Exclua 5 linhas do setup.html para alterar o tamanho do arquivo.
4. Pressione Ctrl+O, ENTER para salvar o arquivo e depois pressione Ctrl+X para sair do nano.
5. Copie o arquivo para o bucket com a opção -v do controle de versões:

gcloud storage cp -v setup.html gs://$BUCKET_NAME_1

6. Abra o arquivo setup.html:

nano setup.html

7. Exclua outras cinco linhas do setup.html para alterar o tamanho do arquivo.
8. Pressione Ctrl+O, ENTER para salvar o arquivo e depois pressione Ctrl+X para sair do nano.
9. Copie o arquivo para o bucket com a opção -v do controle de versões:

gcloud storage cp -v setup.html gs://$BUCKET_NAME_1

Liste todas as versões do arquivo

1. Para listar todas as versões do arquivo, execute o seguinte comando:

gcloud storage ls -a gs://$BUCKET_NAME_1/setup.html

2. Destaque e copie o nome da versão mais antiga do arquivo (a primeira listada), indicada como [VERSION_NAME] na próxima etapa.

Observação: copie o caminho completo do arquivo, que começa com gs://

3. Armazene o valor da versão na variável de ambiente [VERSION_NAME].

export VERSION_NAME=<Enter VERSION name here>

4. Verifique usando o comando "echo":

echo $VERSION_NAME

Resultado (este é um exemplo de saída):

gs://BUCKET_NAME_1/setup.html#1584457872853517

Faça o download da versão original mais antiga do arquivo e verifique a recuperação

1. Faça o download da versão original do arquivo:

gcloud storage cp $VERSION_NAME recovered.txt

2. Para verificar a recuperação, execute os seguintes comandos:

ls -al setup.html ls -al recovered.txt Observação: você recuperou o arquivo original da versão de backup. O original é maior do que a versão atual porque foram excluídas algumas linhas.

Tarefa 7: sincronizar um diretório com um bucket

Nesta tarefa, você vai sincronizar um diretório local e os subdiretórios com um bucket do Cloud Storage usando o comando gsutil rsync.

Crie um diretório aninhado e o sincronize com um bucket

Crie uma estrutura de diretórios aninhada para poder examinar o que acontece quando ela é copiada recursivamente para um bucket.

1. Execute os comandos a seguir:

mkdir firstlevel mkdir ./firstlevel/secondlevel cp setup.html firstlevel cp setup.html firstlevel/secondlevel

2. Para sincronizar o diretório de primeiro nível da VM com o bucket, execute este comando:

gsutil rsync -r ./firstlevel gs://$BUCKET_NAME_1/firstlevel

Veja os resultados

1. No console do Google Cloud, acesse o Menu de navegação () e clique em Cloud Storage > Buckets.
2. Clique em [BUCKET_NAME_1]. Observe as subpastas no bucket.
3. Clique em /firstlevel e depois em /secondlevel.
4. Compare o que você vê no Console do Cloud com os resultados deste comando:

gcloud storage ls -r gs://$BUCKET_NAME_1/firstlevel

5. Saia do Cloud Shell:

exit

Tarefa 8: revisão

Neste laboratório, você aprendeu a criar e trabalhar com buckets e objetos e aprendeu sobre os seguintes recursos do Cloud Storage:

• Chave de criptografia fornecida pelo cliente (CSEK, na silga em inglês)
• Usar suas próprias chaves de criptografia
• Alternar chaves
• Lista de controle de acesso (ACL, na silga em inglês)
• Definir uma ACL como particular e torná-la pública
• Gerenciamento do ciclo de vida
• Definir uma política para excluir objetos após 31 dias
• Controle de versões
• Criar uma versão e restaurar uma versão anterior
• Sincronização de diretórios
• Sincronizar repetidamente um diretório de VM com um bucket

Resumo

O S3 e o Cloud Storage oferecem armazenamento de objetos com recursos de gerenciamento de controle de acesso, criptografia, controle de versões e gerenciamento de ciclo de vida. Vamos conferir algumas semelhanças e diferenças entre os dois serviços.

Semelhanças:

• O Cloud Storage e o S3 oferecem listas de controle de acesso (ACLs) para controle de acesso granular.
• Ambos oferecem classes de armazenamento que otimizam custos modificando a frequência de acesso e a redundância dos dados.
• Ambos oferecem gerenciamento do ciclo de vida de objetos para migrar automaticamente objetos de uma classe de armazenamento para outra.
• Ambos oferecem controle de versões para proteger arquivos contra exclusões e substituições acidentais.
• Ambos oferecem sincronização de diretórios para manter os objetos atualizados e garantir o alinhamento entre o local de origem e os objetos do bucket de destino.

Diferenças:

• No Google Cloud, é possível ativar a criptografia de bucket modificando o arquivo .boto de configuração do gsutil para incluir a chave de criptografia fornecida pelo cliente. Na AWS, é possível ativar a criptografia de bucket usando a CLI da AWS com o comando "put-bucket-encryption" e especificando a chave no parâmetro --server-side-encryption-configuration.
• No Google Cloud, todas as classes de armazenamento são gerenciadas por um único serviço. Já na AWS, as classes de armazenamento de arquivamento são gerenciadas separadamente pelo S3 Glacier. As classes de acesso padrão e não frequente são gerenciadas pelo S3.

Finalize o laboratório

Clique em Terminar o laboratório após a conclusão. O Google Cloud Ensina remove os recursos usados e limpa a conta por você.

Você vai poder avaliar sua experiência no laboratório. Basta selecionar o número de estrelas, digitar um comentário e clicar em Enviar.

O número de estrelas indica o seguinte:

• 1 estrela = muito insatisfeito
• 2 estrelas = insatisfeito
• 3 estrelas = neutro
• 4 estrelas = satisfeito
• 5 estrelas = muito satisfeito

Feche a caixa de diálogo se não quiser enviar feedback.

Para enviar seu feedback, fazer sugestões ou correções, use a guia Suporte.

Copyright 2020 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de produtos e empresas podem ser marcas registradas das respectivas empresas a que estão associados.