Camada L0 · Contracts + ETL

O contrato do tier

O enum Tier (em packages/contracts/src/tier.ts) define T0…T4 e um marcador separado LOCAL. As invariantes documentadas: T0 = silencioso/autônomo; T1 = autônomo com log leve; T2 = um revisor notificado; T3 = council obrigatório; T4 = PARK (council + humano). L0 implementa o comportamento de T0; os tiers acima são o trabalho que o T0 deixou subir.

O laço, em pseudo-código fiel

packages/etl/src/pipeline.ts — runT0Pipeline// walkCorpus como stream; EXCLUI Repos/Models e Repos/Prompts
for each .jsonl file:
  for each line (readJsonl):
    hash = sha256Hex(line)
    if loadDedupeIndex.has(hash): outcome = 'duplicate'; continue
    recordProcessed(hash)              // ledger append-only
    verdict = validateLlmWikiContract(line)
    if !verdict.ok: outcome = 'invalid'; continue
    score  = scorePackage(pkg, evidence)   // 6 eixos, 0–30
    prior  = priorFor(relativePath)        // família → tier
    if routesToResidue(prior): emit RESIDUE; outcome = 'residue'
    else: outcome = 'scored'

O nome do arquivo de residue é a constante RESIDUE_NAME = '_alembic-residue.jsonl'. Os contadores agregados (filesScanned, scored, residue, duplicates, invalid…) compõem o PipelineStats.

bandByThreshold e o fail-safe

packages/etl/src/score.ts// converte uma contagem numa banda 0–5 (linear, saturando em 5)
const bandByThreshold = (count, fullMarksAt) =>
  clamp05((count / fullMarksAt) * 5);

// evidência AUSENTE → nota baixa, NUNCA exceção
completeness = clamp05(bandByThreshold(chunkCount ?? 0, 12) - gapPenalty);
provenance   = hasRawSource === true ? 5 : 1;
// pacote bloqueado → zera todos os seis eixos
if (evidence.blocked) return { ...todos 0, total: 0 };

Repare no padrão ?? 0: campo de evidência faltando vira contagem zero e nota baixa. Isso encarna a regra do projeto — não lançar; a ausência é informação, não erro.

O assert + o ponto de chamada

packages/etl/src/pii.tsexport const assertRedactedForEmit = (signal, channel) => {
  const alreadyRedacted = 'redacted' in signal && signal.redacted === true;
  if (alreadyRedacted) return ok(signal);
  if (!isPrivateChannel(channel)) return ok(signal);  // público passa
  return err({ kind: 'private_unredacted', channel, signalId, message });
};

packages/harness/src/funnel.ts — emitSafeSignal// chamado ANTES de qualquer write no store
if (!isPrivateChannel(entry.channel)) {
  const gate = assertRedactedForEmit(entry.signal, entry.channel);
  ...
}
const redacted = redactSignal(entry.signal);     // privado → redige primeiro
const gate = assertRedactedForEmit(redacted, entry.channel);

O gate é o mesmo, mas para canais privados o funnel redige antes e só então afirma. Se mesmo assim a afirmação falhar, o sinal é descartado — nunca chega ao opportunity-graph.

Testes e um T0 real

# foco nos testes da camada
pnpm --filter @alembic/etl test
# pipeline.test.ts · pii.test.ts · stores.test.ts · score

# um T0 real, offline ($0), inspecionando saídas
alembic distill ./corpus --offline --dataDir /tmp/test0
cat /tmp/test0/_alembic-residue.jsonl | head -5
wc -l /tmp/test0/_alembic-processed.jsonl   # o ledger