Revisão de Conceitos Databricks e Data Engineering

Flashcards de vocabulário técnico sobre arquitetura Databricks, tipos de visualizações, segurança de dados e comandos SQL específicos.

Temporary View

Uma visualização que dura apenas até que a sessão atual termine e não pode ser acessada por outras sessões.

Global Temporary View

Uma visualização que dura enquanto o cluster estiver ativo e pode ser acessada por diferentes sessões dentro do mesmo cluster.

Permanent View

Uma visualização persistente que dura até ser removida e pode ser acessada por qualquer cluster, desde que existam permissões.

Materialized View

Tipo de view utilizada especificamente em Lakeflow Declarative Pipelines.

Directory Listing

Modo de operação do Auto Loader utilizado quando não há serviços externos configurados.

File Notification

Modo de operação do Auto Loader que utiliza serviços como Event Grid, SQS ou PubSub.

REST API Call

Um tipo de tarefa (Task Type) considerado inválido em Jobs.

Control Plane

A camada da arquitetura onde os Notebooks são armazenados.

Compute Plane

A camada da arquitetura onde os Clusters ficam localizados.

Data Plane

A camada da arquitetura onde os dados Delta ficam armazenados.

Column Mask

Recurso utilizado para esconder valores de uma coluna, servindo para proteção de PII (Personally Identifiable Information).

Row Filter

Recurso utilizado para restringir o acesso a determinadas linhas de uma tabela.

Sintaxe de Column Mask

O comando SQL utilizado é: ALTER TABLE tabela ALTER COLUMN coluna SET MASK funcao;

--fail-on-active-runs

Parâmetro utilizado para abortar o deploy caso existam jobs ativos no momento.

CAST('100$' AS INT)

Uma tentativa de conversão que resulta em erro devido ao caractere especial na string.

TRY_CAST('100$' AS INT)

Uma tentativa de conversão que retorna NULL em vez de erro ao encontrar um valor inválido.

Owner da tabela

Atributo que deve ser alterado especificamente no campo Owner da página da tabela.

SET MANAGED

Comando que mantém o histórico da tabela, porém não realiza a sincronização de forma incremental.

Sharing Identifier

O identificador único do metastore pertencente ao destinatário em um contexto de compartilhamento.

Trigger padrão do Structured Streaming

O intervalo de processamento padrão definido em 500ms

Liquid Clustering

O melhor tipo de layout de dados para otimizar consultas que utilizam múltiplos filtros.

ON VIOLATION DROP ROW

Cláusula que permite descartar registros que violam regras de integridade enquanto mantém as métricas de monitoramento.

Dicionários Python (chaves duplicadas)

Comportamento na linguagem Python onde, ao definir chaves duplicadas, apenas o valor da última chave é mantido.

USING CSV

Cláusula SQL utilizada na criação de tabelas baseadas em arquivos de formato CSV.