Fase 2: Data Loading en Modellering (Week 3-5)

2.1 Data Loading Strategieën

Snowflake ondersteunt diverse data loading methoden:

-- Voorbeeld SnowSQL voor data loading
-- Stap 1: Stage aanmaken
CREATE OR REPLACE STAGE my_s3_stage
  URL = 's3://mybucket/data/'
  CREDENTIALS = (AWS_KEY_ID = '...' AWS_SECRET_KEY = '...');

-- Stap 2: Bestandsformaat definiëren
CREATE OR REPLACE FILE FORMAT csv_format
  TYPE = 'CSV'
  FIELD_OPTIONALLY_ENCLOSED_BY = '"'
  SKIP_HEADER = 1;

-- Stap 3: Data laden
COPY INTO sales.transactions
  FROM @my_s3_stage
  FILE_FORMAT = (FORMAT_NAME = 'csv_format')
  PATTERN = '.*transactions.*.csv';

-- Stap 4: Incrementeel laden met Snowpipe
CREATE PIPE sales.transactions_pipe AUTO_INGEST=TRUE AS
COPY INTO sales.transactions
FROM @my_s3_stage
FILE_FORMAT = (FORMAT_NAME = 'csv_format')
PATTERN = '.*transactions.*.csv';
        

2.2 Data Modellering Best Practices

• Implementeer star schema voor analytische workloads
• Gebruik clustering keys voor grote tabellen
• Maak gebruik van zero-copy cloning voor testomgevingen
• Implementeer materialized views voor veelgebruikte queries
• Gebruik Snowflake's time travel voor data recovery

2.3 Performance Optimalisatie

Technieken om Snowflake-prestaties te verbeteren:

Fase 3: Analytics en Data Sharing (Week 6-8)

3.1 Multi-Workload Ondersteuning

Snowflake ondersteunt diverse analytics workloads:

3.2 Geavanceerde Snowflake Features

Krachtige Snowflake-technieken voor uw PoC:

-- Voorbeeld Snowpark Python UDF
CREATE OR REPLACE FUNCTION predict_sales(
  region STRING, 
  marketing_spend FLOAT
)
RETURNS FLOAT
LANGUAGE PYTHON
RUNTIME_VERSION = '3.8'
HANDLER = 'predict'
AS $$
import pickle
import pandas as pd

# Laad getraind model
model = pickle.loads(bytes.fromhex('...'))

def predict(region, marketing_spend):
  input_data = pd.DataFrame({
    'region': [region],
    'marketing_spend': [marketing_spend]
  })
  return float(model.predict(input_data)[0])
$$;

-- Voorbeeld Secure Data Share
CREATE SHARE sales_share;
GRANT USAGE ON DATABASE sales TO SHARE sales_share;
GRANT USAGE ON SCHEMA sales.public TO SHARE sales_share;
GRANT SELECT ON TABLE sales.public.transactions TO SHARE sales_share;
ALTER SHARE sales_share ADD ACCOUNT = 'partner_account';

-- Voorbeeld Time Travel
SELECT * FROM sales.transactions
AT(TIMESTAMP => '2025-01-01 00:00:00'::TIMESTAMP);
        

3.3 Data Governance en Security

Snowflake's geavanceerde governance mogelijkheden:

• Role-Based Access Control: Fijnmazige toegangscontrole
• Dynamic Data Masking: Sensitieve data beschermen
• Row Access Policies: Rijniveau security
• Data Classification: Automatische detectie van PII
• Audit Logging: Compleet overzicht van activiteiten