Construindo um LLM: entendendo os Grandes Modelos de Linguagem

Aprendendo como um LLM funciona construindo um do zero!

Já se perguntou como o ChatGPT, Gemini, Claude e outros modelos de linguagem funcionam? Onde vivem, do que se alimentam?

Este é o repositório de código para uma série de artigos em que exploro o funcionamento dos Modelos de Linguagem de Grande Escala (LLMs). Para compreender profundamente esses modelos, desenvolvo e treino um do zero usando Pytorch.

Esta série está dividida em 8 partes de código:

1. Introdução
2. Tokenização
3. Embedding
4. Mecanismo de Atenção
5. Bloco Transformer
6. Criando um GPT
7. Treinando um Foundational Model *
8. Especializando

Você pode acompanhar a série de artigos no meu blog no Medium.

[*] Você pode acessar o modelo pré treinado no Hugging Face https://huggingface.co/zfab/llmdozero.