Fase 2: Data Engineering en OneLake (Week 3-6)

2.1 Data Pipelines en OneLake

Microsoft Fabric gebruikt OneLake als centrale dataopslag:

// Voorbeeld Spark job in Synapse Data Engineering
from pyspark.sql import SparkSession
from pyspark.sql.functions import *

# ETL pipeline voor verkoopdata
def transform_sales_data():
    spark = SparkSession.builder.getOrCreate()
    
    # Lees bron data uit OneLake
    df = spark.read.format("delta").load("onelake://sales/bronze/transactions")
    
    # Data transformaties
    transformed_df = (df
        .withColumn("profit", col("revenue") - col("cost"))
        .groupBy("region", "product_category")
        .agg(
            sum("revenue").alias("total_revenue"),
            avg("profit").alias("avg_profit")
        )
    )
    
    # Schrijf naar silver laag
    transformed_df.write.format("delta").mode("overwrite") \
        .save("onelake://sales/silver/region_performance")

// Voorbeeld Data Factory pipeline
{
  "name": "Daily_Sales_Load",
  "properties": {
    "activities": [
      {
        "name": "CopyFromSQLToLake",
        "type": "Copy",
        "inputs": [ { "referenceName": "AzureSqlSales", "type": "DatasetReference" } ],
        "outputs": [ { "referenceName": "SalesLake", "type": "DatasetReference" } ],
        "typeProperties": {
          "source": { "type": "AzureSqlSource" },
          "sink": { "type": "ParquetSink" }
        }
      }
    ]
  }
}
        

2.2 Data Modellering Best Practices

• Implementeer medallion architectuur (bronze/silver/gold)
• Gebruik Delta-formaat voor betrouwbare dataopslag
• Optimaliseer bestandsgroottes voor queryprestaties
• Maak gebruik van Fabric's ingebouwde monitoring
• Implementeer data lineage voor traceerbaarheid

2.3 Performance Optimalisatie

Technieken om Fabric-prestaties te verbeteren:

Fase 3: Analytics en AI (Week 7-10)

3.1 Multi-Persona Functionaliteiten

Microsoft Fabric ondersteunt diverse gebruikersprofielen:

3.2 Geavanceerde Analytics en AI

Krachtige Fabric-technieken voor uw PoC:

// Voorbeeld Synapse Data Science notebook
# Machine learning model training
from synapse.ml.core.platform import *

df = spark.read.format("delta").load("onelake://sales/silver/transactions")

# Feature engineering
from pyspark.ml.feature import VectorAssembler
feature_cols = ["amount", "quantity", "day_of_week"]
assembler = VectorAssembler(inputCols=feature_cols, outputCol="features")

# Train/test split
train, test = df.randomSplit([0.8, 0.2])

# Model training
from pyspark.ml.regression import RandomForestRegressor
rf = RandomForestRegressor(featuresCol="features", labelCol="revenue")
model = rf.fit(train)

# Model evaluatie
predictions = model.transform(test)
from pyspark.ml.evaluation import RegressionEvaluator
evaluator = RegressionEvaluator(labelCol="revenue", predictionCol="prediction")
rmse = evaluator.evaluate(predictions, {evaluator.metricName: "rmse"})

# Model registreren in Fabric
model.write().overwrite().save("onelake://ml/models/sales_prediction")

// Voorbeeld Copilot in Power BI
"Maak een dashboard dat de wekelijkse verkoop per regio toont
met een vergelijking met dezelfde periode vorig jaar en een
voorspelling voor de komende 4 weken gebaseerd op ons ML-model"
        

3.3 Power BI en Direct Lake

Geïntegreerde rapportagemogelijkheden:

• Direct Lake-modus: Rechtstreeks query's uitvoeren op OneLake zonder import
• Automatische semantische modellen: Minder handmatig modelleringswerk
• AI-ondersteuning: Copilot voor snellere dashboardcreatie
• Echte self-service: Business users kunnen eigen rapporten maken
• Enterprise governance: Centraal beheerde metriek en modellen