В llama2.c один из вопросов, который я больше всего хочу знать: как прочитать и запустить файл модели (bin) вручную (c)? В общем, есть несколько вопросов:

• Как хранить и читать структуру и веса графа?
• Как экспорт модели обучения в скрипт py соответствует чтению run.c? На основе двоичного кода?
• Какие переменные необходимо поддерживать в процессе работы графа расчета DAG? Статус сохраняется и обновляется?
• Как бороться с подсказкой?
• Как реализовать такое количество операторов в вычислительном графе?

До реализации Карпат они всегда считались запретной зоной для крупных производителей и невыполнимой задачей. После просмотра подробной серии руководств, таких как микро-град и нано-gpt, я узнал, что Карпати хорошо умеет использовать базовые языки для создания компонентов игрушечных колес, а затем выполнять полную игрушечную работу. Я потратил 2 дня свободного времени на чтение кода, рисование структурной схемы и примерное метафизическое понимание механизма, прежде чем моя память затуманилась или отвлеклась на другие вещи, я записывал заметки для ностальгии. Дизайн такой красивый! !

1.структура/класс структуры типа конструкции

run.c реализует три класса структуры. Подробности можно увидеть в коде. Рисунок легче понять, чем сам код.

1) Конфигурация: Структурная конфигурация гиперпараметров модели.

2) TransformerWeights: хранилище весов, соответствующее структуре графа.

3) RunState: контекст во время работы

Среди них структуры Config и TransformerWeight считываются и анализируются двоичным файлом model.bin. Вместе они представляют собой структуру модели, а вес RunState — контекст времени выполнения.

2.function

1) Функции Malloc, free и init, относящиеся к структурным классам.

2）net blocks

Это также отвечает на вопрос реализации оператора. Помимо запуска финальной обработки токена и pos, Llama2 LLM является повторением стандартизированного блока Transformer. Отличием конкретной серии моделей является размер блока Transformer и конфигурация форматирования, а количество используемых операторов ограничено.

3）byte pair encode (BPE) tokenizer

Просто прочитайте файл tokenizer.bin, экспортируйте два объекта типа поиска, а затем выполните процесс для каждого токена...

4) utils

argmax и sample используются для обработки с температурными параметрами или без них.

3.main loop

Основной процесс run.c очень традиционен, и ощущение «он должен быть спроектирован таким образом» очень ортодоксально, а изысканный дизайн заключается в дизайне структуры.

4. Передача файла модели: model.py > bin > run.c

Проще говоря: model.py::export --> bin --> run.c::Config TransformerWeight, специально в сочетании с рисунком ниже, посмотрите на следующий код:

• Функция экспорта() файла model.py: выводит конфигурацию модели (заголовок) и веса в двоичный файл;
• Config и TransformerWeight файла run.c инициализируются последовательно из файла bin.

В частности, следует отметить, что веса хранятся в группах в соответствии с порядком типа оператора (Внимание, ffn), а затем слоя слоя; все переменные в TransfoermerWeight являются указателями на пространство, где фактически хранятся веса, и они основаны на первом анализе информационного приложения Come Out Config. Такая конструкция гарантирует, что структуры Config и TransformerWeight занимают одно и то же пространство (независимо от размера модели).

5. Незаконченное дело

Нет времени или мало смысла сравнивать выводы механизма вывода Python и C, а также недостаточно времени, чтобы проследить код run.c за один шаг, чтобы увидеть поток данных;