1986      Nasce em Bratislava, Checoslováquia
~1990s    Família emigra para Toronto, Canadá
2009      Bacharelado em CS + Física, University of Toronto
2011      Inicia PhD em Stanford com Fei-Fei Li
2014      Cria "The Unreasonable Effectiveness of RNNs" (blog post icônico)
2015      Conclui PhD — tese: "Connecting Images and Natural Language"
2015      Co-fundador e pesquisador na OpenAI (grupo fundador: Musk, Altman, Sutskever...)
2017      Publica "Software 2.0" no Medium (ensaio mais influente da carreira)
2017      Director of AI na Tesla — lidera Autopilot e Full Self-Driving
2019      Tesla FSD Chip — chip neural proprietário co-desenvolvido sob sua liderança
2021      Tesla AI Day — apresenta HydraNet, Data Engine, Dojo ao mundo
2022      Sai da Tesla (março) — 5 anos construindo a stack de visão mais avançada do mundo
2022      Lança "Neural Networks: Zero to Hero" no YouTube
2023      Retorna à OpenAI (~1 ano)
2024      Deixa OpenAI (fevereiro)
2024      Funda Eureka Labs — empresa de educação com IA
2025      Cunha o termo "vibe coding" — novo paradigma de programação

undefined

**As implicações enumeradas por Karpathy:**

1. **Homogêneo** — toda lógica vive em tensores de floats. Hardware especializado (GPUs/TPUs) executa qualquer modelo.
2. **Portável** — exporte os pesos, rode em qualquer hardware compatível.
3. **Supera 1.0 em visão, fala, linguagem** — nenhum humano escreve a lógica que classifica 1M tipos de imagens com 90%+ de acurácia.
4. **Perde para 1.0 em lógica auditável** — loops complexos, lógica de negócios precisa.
5. **O programador muda de papel** — de escrever lógica para: curar datasets, projetar loss functions, debugar comportamento emergente.
6. **Opaco** — os pesos são o programa, e ninguém pode auditá-los. Cria desafios de interpretabilidade e segurança.

**Citação:** "In the new paradigm, you don't write the software, you accumulate
the training data and curate the dataset. We are reprogramming computers with data."

**Com LLMs (2023):** Dataset = internet inteira. Loss = cross-entropy no próximo token.
Emergência de capacidades que ninguém especificou explicitamente. Software 2.0 em escala máxima.

micrograd       → backprop em 100 linhas, chain rule, grafo computacional
makemore-1      → bigrama, contagem, sampling — modelo mais simples possível
makemore-2      → MLP (Bengio 2003), embeddings, batch training
makemore-3/4/5  → BatchNorm, backprop manual, WaveNet
nanoGPT         → transformer completo, treina em Shakespeare
tokenização     → BPE do zero, por que tokenização importa
GPT-2 do zero   → reproduzir GPT-2 124M completo em PyTorch

"FastAPI server que retorna EXIF data de imagem" → LLM gera → você roda
"Retorne JSON formatado" → LLM corrige → "Adiciona auth com API key" → LLM adiciona
→ Você deployou sem ter lido ~80% do código.

                    ┌─── Head: Object Detection (carros, pedestres, ciclistas...)
                    ├─── Head: Lane Detection (linhas de faixa, curbs)
                    ├─── Head: Depth Estimation (profundidade por câmera)
Backbone ──────────┼─── Head: Velocity Estimation (velocidade dos objetos)
(compartilhado)     ├─── Head: Surface Normals (geometria da superfície)
                    ├─── Head: Traffic Signs (classificação de sinais)
                    ├─── Head: Driveable Area (onde o carro pode ir)
                    └─── ... (~50 heads no total)

┌──────────────────────────────────────────────────────────────┐
│                     DATA ENGINE LOOP                         │
│                                                              │
│  1. FROTA (1M+ carros)                                       │
│     → Modelo roda em produção                                │
│     → Sistema detecta casos de incerteza/falha              │
│     → Carros enviam clips relevantes para a Tesla            │
│                                                              │
│  2. ANOTAÇÃO (semi-automática + humana)                      │
│     → Pipeline de anotação automática (modelos auxiliares)  │
│     → Humanos verificam/corrigem edge cases                  │
│     → Qualidade do dataset cresce continuamente              │
│                                                              │
│  3. TREINAMENTO                                              │
│     → Novo modelo treinado em dataset expandido              │
│     → Avaliado vs modelo atual                               │
│     → Deployo gradual para frota                             │
│                                                              │
│  4. VOLTA AO 1 ──────────────────────────────────────────   │
└──────────────────────────────────────────────────────────────┘

class Value:
    """
    Armazena um escalar e o gradiente acumulado.
    Cada Value sabe quem são seus 'pais' no grafo computacional
    e como propagar o gradiente de volta (backward function).
    """
    def __init__(self, data, _children=(), _op='', label=''):
        self.data = data
        self.grad = 0.0          # dL/dself — começa em 0
        self._backward = lambda: None   # função de backprop local
        self._prev = set(_children)     # nós anteriores no grafo
        self._op = _op                  # para visualização
        self.label = label

    def __add__(self, other):
        other = other if isinstance(other, Value) else Value(other)
        out = Value(self.data + other.data, (self, other), '+')

        def _backward():
            # Derivada de (a + b) em relação a a é 1
            # Chain rule: self.grad += 1.0 * out.grad
            self.grad += out.grad
            other.grad += out.grad
        out._backward = _backward
        return out

    def __mul__(self, other):
        other = other if isinstance(other, Value) else Value(other)
        out = Value(self.data * other.data, (self, other), '*')

        def _backward():
            # Derivada de (a * b) em relação a a é b
            # Chain rule: self.grad += b * out.grad
            self.grad += other.data * out.grad
            other.grad += self.data * out.grad
        out._backward = _backward
        return out

    def tanh(self

class CausalSelfAttention(nn.Module):
    # Multi-head self-attention com máscara causal
    # Cada token só pode "ver" tokens anteriores (autoregressivo)
    # Q, K, V projetados do input — todos de uma vez para eficiência
    # Attention: softmax(QK^T / sqrt(d_k)) @ V
    # Máscara: triângulo inferior de 1s bloqueia acesso ao futuro
    pass

class MLP(nn.Module):
    # Feed-forward: expand 4x, GELU, projetar de volta
    # Simple mas essencial — é onde a maior parte do "conhecimento" vive
    pass

class Block(nn.Module):
    # Um bloco do transformer:
    # LayerNorm → Attention → residual (x = x + attn(ln1(x)))
    # LayerNorm → MLP → residual     (x = x + mlp(ln2(x)))
    # Pre-norm: normaliza ANTES da operação (mais estável que post-norm)
    pass

**Por que as residual connections (x + ...) importam:**
Sem residuals, o gradiente atravessa cada camada multiplicativamente — em redes
profundas, ele some (vanishing gradient) ou explode. Com residuals, há um caminho
"reto" do loss até cada camada — o gradiente flui sem multiplicações em série.

"Residual connections são elegantemente simples: você só adiciona a entrada ao
output de cada bloco. Esse + é o que torna redes profundas treináveis."

**Resultado prático do nanoGPT:**
Com o dataset de Shakespeare (~1MB) e um nanoGPT pequeno, você consegue treinar
um modelo que gera texto shakespeariano coerente em ~10 minutos numa GPU moderada.
Com o dataset do OpenWebText (~38GB), você consegue treinar um GPT-2 funcional
em alguns dias em 8 A100s.

1. Conheça seus dados — visualize exemplos. Bugs em dados são mais comuns que bugs em código.
2. Overfite um batch pequeno — se não consegue memorizar 5 exemplos, há bug no código.
3. Comece simples — modelo mínimo funcional, adicione complexidade gradualmente.
4. Regularize quando necessário — dropout, weight decay, augmentation na ordem certa.
5. Learning rate é o hiperparâmetro mais importante. Sempre.

undefined

**Por que tokenização importa mais do que parece:**

1. **Aritmética quirky:** LLMs são ruins em contar letras porque "strawberry"
   pode ser tokenizado como ["straw", "berry"] — o modelo nunca "vê" os
   caracteres individuais.

2. **Emojis são caros:** Um emoji pode usar 3-4 tokens. Conversas em emoji
   são muito mais "caras" em context window do que parecem.

3. **Código-fonte:** Diferentes linguagens de programação tokenizam diferente.
   Python e JavaScript têm vocabulários de tokens distintos que afetam como
   o modelo "pensa" sobre código.

4. **Idiomas não-latinos:** Texto em chinês, japonês, árabe usa muito mais
   tokens por palavra do que texto em inglês. Um modelo com context window
   de 4096 tokens "pensa" em menos palavras em outros idiomas.

5. **Bugs por tokenização:** Alguns comportamentos estranhos de LLMs vêm de
   tokenização bizarra. "SolidGoldMagikarp" ficou famoso por causar comportamentos
   anômalos no GPT — o token existia no vocabulário mas raramente aparecia no
   treinamento.

1. Começa com bytes individuais (256 tokens base)
2. Conta frequência de todos os pares consecutivos de tokens
3. Encontra o par mais frequente
4. Substitui todas as ocorrências desse par por um novo token
5. Repete até atingir o vocabulário desejado (ex: 50,000 tokens)

undefined

PyTorch com `.backward()` faz exatamente isso para tensores de qualquer dimensão.
Cada operação no grafo conhece sua derivada local — backprop só aplica chain rule
em ordem reversa. Para entender de verdade, implemente o micrograd. São 100 linhas.
Vale mais que 100 horas de teoria."