GSP729

Visão geral

O Data Catalog é um serviço de administração de metadados totalmente gerenciado e escalonável no Dataplex.

Ele tem uma interface de pesquisa simples e fácil de usar para descoberta de dados, um sistema de catalogação flexível e avançado para capturar metadados técnicos e comerciais, além de uma base sólida de segurança e conformidade integrada ao Cloud Data Loss Prevention (DLP) e ao Cloud Identity and Access Management (IAM).

O BigQuery é um armazenamento de dados empresarial que usa a capacidade de processamento da infraestrutura do Google para possibilitar consultas SQL extremamente rápidas.

Basta você mover os dados para o BigQuery, e ele fará todo o trabalho pesado. Controle o acesso ao projeto e aos dados conforme a necessidade da empresa, por exemplo, definindo quem tem permissão para visualizar ou consultar os dados.

Como usar o Data Catalog

Existem duas maneiras principais de interagir com o Data Catalog:

• Pesquisar recursos de dados a que você tem acesso
• Incluir tags em recursos com metadados

Caso de uso do Data Catalog

Imagine que você seja o engenheiro de dados da empresa. Seu trabalho é garantir que os colegas, como cientistas de dados ou analistas de negócios, descubram e usem facilmente todos os conjuntos de dados. Ao receber um novo conjunto de dados, você anota informações importantes, como o proprietário, o número de linhas que o conjunto contém, se há dados de PII etc.

Para isso, você adiciona tags aos conjuntos de dados e às tabelas. Com o Data Catalog, você cria modelos de tags para definir quais tipos de atributos serão marcados. Assim, você pode acessar, mapear e descobrir com facilidade informações pertinentes nos bancos de dados e nas tabelas.

Conteúdo do laboratório

Neste laboratório, você aprenderá a fazer o seguinte:

• Ativar a API Data Catalog para usar esse serviço no seu projeto do Google Cloud
• Criar um conjunto de dados com o BigQuery
• Copiar uma tabela pública de táxis de Nova York no seu conjunto de dados
• Criar um modelo de tag do Data Catalog
• Marcar a nova tabela com as tags recém-criadas

Pré-requisitos

Observação: antes de iniciar este laboratório, saia da sua conta pessoal ou corporativa do Gmail ou faça o laboratório usando a navegação anônima.

Isso evita confusão no processo de login enquanto o laboratório está em execução.

Configuração e requisitos

Antes de clicar no botão Start Lab

Leia estas instruções. Os laboratórios são cronometrados e não podem ser pausados. O timer é iniciado quando você clica em Começar o laboratório e mostra por quanto tempo os recursos do Google Cloud vão ficar disponíveis.

Este laboratório prático permite que você realize as atividades em um ambiente real de nuvem, não em uma simulação ou demonstração. Você vai receber novas credenciais temporárias para fazer login e acessar o Google Cloud durante o laboratório.

Confira os requisitos para concluir o laboratório:

• Acesso a um navegador de Internet padrão (recomendamos o Chrome).

Observação: para executar este laboratório, use o modo de navegação anônima ou uma janela anônima do navegador. Isso evita conflitos entre sua conta pessoal e a conta de estudante, o que poderia causar cobranças extras na sua conta pessoal.

• Tempo para concluir o laboratório---não se esqueça: depois de começar, não será possível pausar o laboratório.

Observação: não use seu projeto ou conta do Google Cloud neste laboratório para evitar cobranças extras na sua conta.

Como iniciar seu laboratório e fazer login no console do Google Cloud

1. Clique no botão Começar o laboratório. Se for preciso pagar, você verá um pop-up para selecionar a forma de pagamento. No painel Detalhes do laboratório à esquerda, você verá o seguinte:

   • O botão Abrir Console do Cloud
   • Tempo restante
   • As credenciais temporárias que você vai usar neste laboratório
   • Outras informações se forem necessárias

2. Clique em Abrir Console do Google. O laboratório ativa recursos e depois abre outra guia com a página Fazer login.

   Dica: coloque as guias em janelas separadas lado a lado.

   Observação: se aparecer a caixa de diálogo Escolher uma conta, clique em Usar outra conta.

3. Caso seja preciso, copie o Nome de usuário no painel Detalhes do laboratório e cole esse nome na caixa de diálogo Fazer login. Clique em Avançar.

4. Copie a Senha no painel Detalhes do laboratório e a cole na caixa de diálogo Olá. Clique em Avançar.

   Importante: você precisa usar as credenciais do painel à esquerda. Não use suas credenciais do Google Cloud Ensina. Observação: se você usar sua própria conta do Google Cloud neste laboratório, é possível que receba cobranças adicionais.

5. Acesse as próximas páginas:

   • Aceite os Termos e Condições.
   • Não adicione opções de recuperação nem autenticação de dois fatores (porque essa é uma conta temporária).
   • Não se inscreva em testes gratuitos.

Depois de alguns instantes, o console do GCP vai ser aberto nesta guia.

Observação: para ver uma lista dos produtos e serviços do Google Cloud, clique no Menu de navegação no canto superior esquerdo.

Ativar o Cloud Shell

O Cloud Shell é uma máquina virtual com várias ferramentas de desenvolvimento. Ele tem um diretório principal permanente de 5 GB e é executado no Google Cloud. O Cloud Shell oferece acesso de linha de comando aos recursos do Google Cloud.

1. Clique em Ativar o Cloud Shell na parte de cima do console do Google Cloud.

Depois de se conectar, vai notar que sua conta já está autenticada, e que o projeto está configurado com seu PROJECT_ID. A saída contém uma linha que declara o projeto PROJECT_ID para esta sessão:

Your Cloud Platform project in this session is set to YOUR_PROJECT_ID

gcloud é a ferramenta de linha de comando do Google Cloud. Ela vem pré-instalada no Cloud Shell e aceita preenchimento com tabulação.

2. (Opcional) É possível listar o nome da conta ativa usando este comando:

gcloud auth list

3. Clique em Autorizar.

4. A saída será parecida com esta:

Saída:

ACTIVE: * ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net To set the active account, run: $ gcloud config set account `ACCOUNT`

5. (Opcional) É possível listar o ID do projeto usando este comando:

gcloud config list project

Saída:

[core] project = <project_ID>

Exemplo de saída:

[core] project = qwiklabs-gcp-44776a13dea667a6 Observação: para conferir a documentação completa da gcloud, acesse o guia com informações gerais sobre a gcloud CLI no Google Cloud.

Tarefa 1: ativar a API Data Catalog

1. No menu de navegação, selecione APIs e serviços > Biblioteca.

2. Na barra de pesquisa, digite Data Catalog e selecione o primeiro resultado.

3. Depois clique em Ativar.

Se o erro abaixo aparecer depois que você tentar ativar a API Data Catalog:

1. Clique em Fechar.
2. Atualize a guia do navegador.
3. Clique novamente em Ativar.

A API Data Catalog precisa ser ativada:

Abrir o console do BigQuery

1. No Console do Google Cloud, selecione o menu de navegação > BigQuery:

Você verá a caixa de mensagem Olá! Este é o BigQuery no Console do Cloud. Ela tem um link para o guia de início rápido e as notas de versão.

2. Clique em OK.

O console do BigQuery vai abrir.

Tarefa 2: criar um conjunto de dados

1. No painel de navegação do BigQuery à esquerda, clique em Ver ações, ao lado do ID do projeto. Em seguida, clique em CRIAR CONJUNTO DE DADOS.

2. Na caixa de diálogo Criar conjunto de dados:

• Em ID do conjunto de dados, digite demo_dataset

• Em Local dos dados, selecione us (multiple regions in United States).

3. Depois clique em Criar conjunto de dados.

Observação: durante a criação do conjunto de dados com o console do Cloud, não é possível adicionar uma descrição ou um rótulo. Isso só pode ser feito após o processo.

Clique em Verificar meu progresso para ver o objetivo. Crie um conjunto de dados

Tarefa 3: copiar uma tabela pública de táxis de Nova York no seu conjunto de dados

1. No painel à esquerda, clique em + ADICIONAR > Conjuntos de dados públicos.

2. Na barra de pesquisa, digite NYC TLC Trips e clique neste resultado:

Neste laboratório, você vai usar uma tabela desse conjunto de dados com informações de viagens de táxi de Nova York de 2018.

3. Para continuar, feche o painel lateral clicando fora dele.

4. Execute o comando abaixo no painel do Cloud Shell e copie a tabela tlc_yellow_trips_2018:

bq cp bigquery-public-data:new_york_taxi_trips.tlc_yellow_trips_2018 $(gcloud config get project):demo_dataset.trips

O comando anterior usou a bq command line tool para copiar a tabela pública no projeto e a organizou no demo_dataset que você criou.

5. Atualize a página do navegador do BigQuery.

6. Confirme se a tabela trips está listada no seu demo_dataset.

Você vai adicionar as tags do Data Catalog à tabela na próxima seção.

Clique em Verificar meu progresso para ver o objetivo. Copie uma tabela pública de táxis de Nova York para seu conjunto de dados

Tarefa 4: criar um modelo de tag do Data Catalog

Crie um modelo de tag na IU do Data Catalog.

1. Abra o Menu de navegação e clique em Data Catalog > Modelos de tags. Depois, clique em + CRIAR MODELO DE TAG:

2. Preencha o formulário do modelo e defina um "Modelo de tag de demonstração".

• Nome de exibição do modelo: Demo Tag Template
• ID do modelo: demo_tag_template
• Local:

Em seguida, crie quatro atributos de tag, também chamados "campos" de tag.

3. Clique em Adicionar um campo.

Crie quatro atributos com os valores listados abaixo. Observe que o atributo "source" define um atributo de tag obrigatório. É possível usar letras minúsculas e sublinhados para definir nomes de atributos:

• Nome de exibição do campo: Origem do recurso de dados
• ID do campo: source_of_data_asset
• Tornar este campo obrigatório: marcado
• Tipo: String

4. Clique em Concluído.

5. Depois, selecione Adicionar um campo e insira:

• Nome de exibição do campo: número de linhas no recurso de dados
• ID do campo: number_of_rows_in_data_asset
• Tornar este campo obrigatório: desmarcado
• Tipo: Duplo

6. Clique em Concluído.

7. Depois, selecione Adicionar um campo e insira:

• Nome de exibição do campo: contém PII
• ID do campo: has_pii
• Tornar este campo obrigatório: desmarcado
• Tipo: Booleano

8. Clique em Concluído.

9. Depois, selecione Adicionar um campo e insira:

• Nome de exibição do campo: tipo PII
• ID do campo: pii_type
• Tornar este campo obrigatório: desmarcado
• Tipo: Enumerado

10. Adicione três valores a esse atributo:

• E-mail
• CPF ou CNPJ
• Nenhum

11. Clique em Concluído.

Os quatro atributos vão aparecer no formulário do modelo de tag preenchido:

12. Clique em CRIAR.

A página Modelo de tag do Data Catalog mostra os detalhes e os atributos relacionados:

Clique em Verificar meu progresso para ver o objetivo. Crie um modelo de tag

Tarefa 5: marcar a tabela com as tags recém-criadas

1. Para anexar uma tag a uma tabela no seu conjunto de dados, clique no ícone do Data Catalog, no canto superior esquerdo.

2. No painel à esquerda, selecione Pesquisar e digite demo_dataset na caixa de pesquisa.

3. Clique em Pesquisar:

O demo_dataset e a tabela "trips" que você copiou no conjunto de dados aparecem nos resultados da pesquisa.

4. Clique no nome trips para abrir a tabela:

A página Detalhes da entrada é aberta.

5. Clique em ANEXAR TAGS.

6. Na caixa de diálogo Anexar tags, em "Selecionar os alvos das tags", selecione a tabela trips e clique em "Ok".

7. Selecione o Modelo de tag de demonstração para conferir modelos.

8. Depois, digite ou selecione os seguintes valores para cada atributo de tag:

• source_of_data_asset: tlc_yellow_trips_2018
• pii_type: NENHUM

9. Clique em Salvar.

10. Clique em Demo Tag Template para conferir os atributos de tag listados na página "Detalhes da entrada".

Clique em Verificar meu progresso para ver o objetivo. Anexe a tag à sua tabela

Parabéns!

Bom trabalho! Você aprendeu a anexar tags a uma tabela com o Data Catalog.

Termine a Quest

Este laboratório autoguiado é parte das Quests BigQuery for Marketing Analysts e Data Catalog Fundamentals. Uma Quest é uma série de laboratórios relacionados que formam um programa de aprendizado. Ao concluir uma Quest, você ganha um selo como reconhecimento da sua conquista. É possível publicar os selos e incluir um link para eles no seu currículo on-line ou nas redes sociais. Inscreva-se em qualquer Quest que tenha este laboratório para receber os créditos de conclusão na mesma hora. Consulte o catálogo do Google Cloud Ensina para conferir todas as Quests disponíveis.

Conteúdo abordado

Neste laboratório, você aprendeu a executar as seguintes tarefas:

• Ativar a API Data Catalog
• Criar um conjunto de dados
• Copiar uma tabela pública de táxis de Nova York no seu conjunto de dados
• Criar um modelo de tag e anexar a tag à sua tabela

Próximas etapas / Saiba mais

• Leia a Visão geral do Data Catalog.
• Saiba como pesquisar com o Data Catalog
• Consulte a Visão geral de APIs e bibliotecas de cliente

Finalize o laboratório

Após concluir o laboratório, clique em Terminar o laboratório. Sua conta e os recursos que você utilizou serão removidos da plataforma do laboratório.

Você poderá classificar sua experiência neste laboratório. Basta selecionar o número de estrelas, digitar um comentário e clicar em Enviar.

O número de estrelas indica o seguinte:

• 1 estrela = muito insatisfeito
• 2 estrelas = insatisfeito
• 3 estrelas = neutro
• 4 estrelas = satisfeito
• 5 estrelas = muito satisfeito

Feche a caixa de diálogo se não quiser enviar feedback.

Para enviar seu feedback, fazer sugestões ou correções, use a guia Suporte.

Treinamento e certificação do Google Cloud

Esses treinamentos ajudam você a aproveitar as tecnologias do Google Cloud ao máximo. Nossas aulas incluem habilidades técnicas e práticas recomendadas para ajudar você a alcançar rapidamente o nível esperado e continuar sua jornada de aprendizado. Oferecemos treinamentos que vão do nível básico ao avançado, com opções de aulas virtuais, sob demanda e por meio de transmissões ao vivo para que você possa encaixá-las na correria do seu dia a dia. As certificações validam sua experiência e comprovam suas habilidades com as tecnologias do Google Cloud.

Manual atualizado em 20 de setembro de 2023

Laboratório testado em 20 de setembro de 2023

Copyright 2024 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de produtos e empresas podem ser marcas registradas das respectivas empresas a que estão associados.