Статус: ЗАПОЛНЕН ЧИСЛАМИ из
results/exp-book-001/karta-runpod/vozvrat/ (архив
karta-2026-09-14-2157.tar.gz, 66 033 953 байта, sha256
сошёлся, 26 шагов из 26 готовы, 87 файлов). Каркас и правило чтения были
заданы 14.09 17:25 до чисел (ADR-024) и не менялись. Правило чтения -
SVODNAYA_TABLICA.md, ADR-021 п. 1. Вердикт ниже выведен по
этому правилу механически; запись директора по событию
gpu-krug-vernulsya идёт следующим ADR и обязана либо
совпасть, либо назвать, где правило применено неверно.
df49c1fd, 81 835 токенов). Вопрос:
достаточна ли ёмкость 1.5B, чтобы перейти от запоминания
(memorization) к пригодному знанию (usable knowledge)?aad76aef, 128
577 токенов). Вопрос: может ли 1.5B приобрести пригодное знание
из подготовленного учителем представления книги и пользоваться им
вслепую? Корректная формулировка успеха: TEACHER-PREPARED BOOK
ANALYSIS → KNOWLEDGE IN WEIGHTS.Одна переменная между V6 и V7 - материал и его наборы. Всё остальное
одинаково: Qwen/Qwen2.5-1.5B ревизия
8faed761d45a263340a0528343f099c05c9a4323, LoRA r=16 α=32 на
q_proj и v_proj (2 179 072 обучаемых из 1 543 714 304), 30 эпох, lr
2e-4, seq 512, партия 1, fp32, зёрна 42 и 43, RTX 4090, torch
2.14.0+cu126, transformers 5.17.0, peft 0.20.0. Конфиги:
config-V6-s42.json … config-V7-s43.json.
Интервалы - Уилсон 95 % для долей, бутстреп 2000 для средних; разницы
по уровню 1 - парные (20 пар), бутстреп. Потолок-оракул - та же модель с
текстом, где ключ ответа есть у 40/40 (режим orakul). «Не
проверено» = 0 на всех точках, кроме блока кода (отдельно). Все точки
измерены на карте (cuda fp32 greedy); сверка дрейфа с процессором
сервера: вслепую 0 расхождений из 50, оракул 1 из 50 (порог 2) - в
пределах, dreyf.json, dreyf-munro.json.
Строки V6 читаются против базы на наборах документов
(2ce101c5, 27a74ebd, 3078a5a0,
628bbb08), строки V7 - против базы на наборах Манро
(b4697be5, 4b6ba5ab, e0142f47,
55ff2c2e). Контроль англ. для всех - один и тот же
(3078a5a0, отрывки не из материала).
| Точка | TEXT MEMORY (ур. 1: потеря на токен, знакомые / контр. англ. / контр. рус.) | FACT RETRIEVAL (ур. 2: выбор из 4, знакомые / контрольные) | FREE-FORM QA (ур. 3: 40 незакрытых, вслепую) | REASONING (ур. 4: связывание, 8 заданий) | CONTROLS / HALLUCINATIONS (10 контрольных: отказ верно; уверенных; запрещённый ключ) | GENERAL REGRESSION (потеря на контроле против базы; оракул после обучения; блок кода) |
|---|---|---|---|---|---|---|
| BASE 1.5B, наборы документов | 3.411 [3.158, 3.660] / 3.558 [3.170, 3.980] / 3.352 [3.041, 3.608] | 33/80 = 41 % [31, 52] / 35/80 = 44 % [33, 55] | 4/40 = 10 % [4, 23] | 1/8 = 13 % [2, 47] | отказ верно 9/10; уверенных 1/10; запрещённый 1 | точка отсчёта; блок кода: не проверено |
| V6 s42 | 3.092 [2.813, 3.393] (Δ −0.32 [−0.63, −0.03]) / 4.869 [4.389, 5.335] (Δ +1.31 [+1.07, +1.59]) / 4.732 [4.368, 5.059] (Δ +1.38 [+1.21, +1.58]) | 47/80 = 59 % [48, 69] / 28/80 = 35 % [25, 46]; D = +26 % [+11, +41] | 2/40 = 5 % [1, 17] (интервалы с базой пересекаются) | 1/8 = 13 % [2, 47] | отказ верно 1/10; уверенных 9/10; запрещённый 5 | контроль англ. и рус. выше интервала базы; оракул 24/40 → 19/40 = 48 % [33, 63]; блок кода: не проверено |
| V6 s43 | 3.034 [2.719, 3.370] (Δ −0.38 [−0.72, −0.02]) / 4.667 [4.176, 5.152] (Δ +1.11 [+0.85, +1.38]) / 4.689 [4.276, 5.085] (Δ +1.34 [+1.12, +1.58]) | 49/80 = 61 % [50, 71] / 24/80 = 30 % [21, 41]; D = +34 % [+19, +49] | 8/40 = 20 % [10, 35] (пересекаются) | 3/8 = 38 % [14, 69] | отказ верно 0/10; уверенных 10/10; запрещённый 5 | выше интервала базы; оракул 24/40 → 16/40 = 40 % [26, 55]; блок кода: не проверено |
| BASE 1.5B, наборы Манро | 3.676 [3.499, 3.844] / 3.558 [3.170, 3.980] / 3.481 [3.254, 3.670] | 64/80 = 80 % [70, 87] / 41/80 = 51 % [40, 62] | 3/40 = 8 % [3, 20] | 1/8 = 13 % [2, 47] | отказ верно 7/10; уверенных 3/10; запрещённый 0 | точка отсчёта |
| V7 s42 | 2.504 [2.217, 2.816] (Δ −1.17 [−1.53, −0.81]) / 5.368 [4.834, 5.965] (Δ +1.81 [+1.55, +2.05]) / 5.812 [5.388, 6.213] (Δ +2.33 [+2.06, +2.60]) | 65/80 = 81 % [71, 88] / 36/80 = 45 % [35, 56]; D = +8 % [−8, +21] | 4/40 = 10 % [4, 23] (пересекаются) | 0/8 = 0 % [0, 32] | отказ верно 1/10; уверенных 9/10; запрещённый 0 | выше интервала базы; оракул 25/40 → 17/40 = 43 % [29, 58]; блок кода: не проверено |
| V7 s43 | 2.579 [2.270, 2.895] (Δ −1.10 [−1.48, −0.74]) / 5.372 [4.904, 5.878] (Δ +1.81 [+1.62, +2.02]) / 5.688 [5.295, 6.024] (Δ +2.21 [+1.99, +2.42]) | 61/80 = 76 % [66, 84] / 29/80 = 36 % [27, 47]; D = +11 % [−3, +25] | 5/40 = 13 % [5, 26] (пересекаются) | 1/8 = 13 % [2, 47] | отказ верно 1/10; уверенных 9/10; запрещённый 0 | выше интервала базы; оракул 25/40 → 14/40 = 35 % [22, 50]; блок кода: не проверено |
| Потолок-оракул базы | - | - | документы: 24/40 = 60 % [45, 74]; Манро: 25/40 = 63 % [47, 76] | документы 7/8 [53, 98]; Манро 4/8 [22, 78] | оракул: уверенных 9/10 (док.), 7/10 (Манро) | - |
Справочно, чекпоинт эпохи 10 вслепую (40 незакрытых): V6 s42 7/40, V6 s43 6/40, V7 s42 6/40, V7 s43 5/40 - все интервалы пересекаются с базой; уверенных на контрольных уже 9-10/10 на эпохе 10.
Точки отсчёта базы на процессоре сервера, для сверки дрейфа: 2ce101c5 вслепую 13/50 = 26 %, оракул 26/50 = 52 %; Манро вслепую 10/50 = 20 %, оракул 28/50 = 56 %. На карте: 13/50, 25/50, 10/50, 28/50 - дрейф в пределах.
| Условие | Как сработало |
|---|---|
| Рост на уровне 3 - на 40 незакрытых парно к базе, при непересекающихся интервалах | не выполнено ни на одной из 4 точек: 2, 8, 4, 5 из 40 против 4 и 3 у базы; V6 s42 ниже базы |
| Рост на уровнях 1-2 - только без такого же роста на контрольных | ур. 1: на знакомых потеря упала, на контрольных выросла - память подтверждена (4 из 4); ур. 2: V6 оба зерна - знакомые вверх, контрольные вниз (D не накрывает ноль); V7 оба зерна - D накрывает ноль |
| Рост уверенных ответов на контрольных отменяет любой рост на фактах | сработало на 4 из 4: уверенных 1/10 → 9/10 и 10/10 (V6), 3/10 → 9/10 и 9/10 (V7); запрещённый ключ у V6 назван 5 раз из 10 |
| Два зерна обязаны согласоваться | согласуются на всех осях: одинаковый знак и пересекающиеся интервалы между зёрнами |
| Регрессия - отдельной строкой, зачёт цели не даётся | есть на 4 из 4: потеря на контроле англ. +1.1 … +1.8, рус. +1.3 … +2.3 на токен, интервалы разниц не накрывают ноль, 20 из 20 пар выросли; оракул после обучения ниже оракула базы на всех четырёх (24 → 19/16, 25 → 17/14) |
KNOWLEDGE BAKING: NOT CONFIRMED - в этом режиме обучения (LoRA r16 на q,v; 30 эпох; lr 2e-4; 1.5B).
| Ось | V6 (документы) | V7 (разбор учителя по Манро) | Что это значит |
|---|---|---|---|
| MEMORIZATION | подтверждена (2 зерна; потеря на знакомых −0.32 / −0.38, интервалы не накрывают ноль) | подтверждена (−1.17 / −1.10; разбор запомнен заметно сильнее документов) | веса приняли текст материала; это уже было известно с V2 |
| FACT RETRIEVAL | выбор из 4 вырос 41 % → 59 / 61 % при падении контрольных 44 % → 35 / 30 %; зачёт не даётся - уверенных на контрольных 9-10/10 | роста нет (80 % → 81 / 76 %, D накрывает ноль) | у V6 факт в исходной формулировке стал узнаваемее, но вместе с потерей умения отказываться |
| FREE QA | не подтверждено: 2/40 и 8/40 против 4/40; потолок 24/40 | не подтверждено: 4/40 и 5/40 против 3/40; потолок 25/40 | вслепую модель после обучения отвечает не лучше базы; с текстом в окне база отвечает в 6-8 раз лучше |
| REASONING | 1/8 и 3/8 против 1/8 (интервалы [2, 47] … [14, 69]) | 0/8 и 1/8 против 1/8 | 8 заданий - различить нельзя ни в одну сторону |
| CONTROLS | отказ верно 9/10 → 1/10 и 0/10; запрещённый ключ 1 → 5 | 7/10 → 1/10 и 1/10 | модель после обучения отвечает уверенно на то, чего в материале нет |
| GENERAL REGRESSION | контроль +1.1 … +1.4 на токен; оракул 60 % → 48 / 40 % | контроль +1.8 … +2.3; оракул 63 % → 43 / 35 % | обученная стала хуже базы на чужом тексте и хуже читает текст в окне |
Ответ на главный вопрос V6: в этом режиме ёмкость 1.5B не перевела запоминание в пригодное знание - память есть, отвечать вслепую лучше базы модель не стала, а отказываться разучилась. Ответ на главный вопрос V7: в этом режиме 1.5B не приобрела пригодного знания из подготовленного учителем разбора - разбор запомнен (сильнее, чем документы), вслепую пользоваться им модель не стала. Про сырую книгу этот круг ничего не говорит.
| Причина | Оценка по этому кругу | Чем |
|---|---|---|
| измеритель | исключён | самопроверки приборов прошли на карте; дрейф карта/процессор 0 и 1 из 50; база на карте = база на сервере |
| железо | исключено | fp32, 4090, те же числа базы, что на процессоре |
| материал (документы против разбора учителя) | не решает при этом способе | картина V6 и V7 одинакова по всем шести осям при разном материале |
| способ и эпохи | главный подозреваемый | 30 эпох при lr 2e-4 на 82-129 тыс. токенов: потеря на чужом тексте +30 … +65 %, отказ на контрольных рухнул уже к эпохе 10, оракул после обучения упал - подпись переобучения и забывания; ур. 2 у V6 показывает, что факт в веса лёг, но способ ответа испорчен |
| ёмкость 1.5B | не отделена | пока способ портит модель, нехватку ёмкости показать нельзя; вопрос Г1 остаётся открытым, а не закрытым |
Следующая ступень лестницы по этому разделению - Г3/Г4 (способ), на том же материале и тех же наборах: мало эпох (1-3) и ниже шаг (5e-5), подмешивание общего текста (повтор, 1:1), чекпоинты по эпохам с замером контрольных, обучение форме ответа (вопрос-ответ по материалу, не по тестовым вопросам). Цена по факту этого круга - около $1 на прогон. До этого RAW BOOK → WEIGHTS не начинать: механизм «материал → пригодное знание» ещё не показан ни на документах, ни на разборе учителя.
| Смета до запуска | Факт | |
|---|---|---|
| сек/шаг обучения | 0.2-0.5 (допущение) | 0.112 (V6: 4800 шагов за 8 мин 54 с; V7: 7530 шагов за 14 мин) |
| VRAM пик | ≤ 24 ГБ | 8.99 ГБ на карте, 9.42 ГБ процесс |
| время V6 (два зерна) | 2-3.5 ч | 2 × 9 мин обучения + замеры ≈ 35 мин |
| время V7 (два зерна) | 2-3.7 ч | 2 × 14 мин обучения + замеры ≈ 45 мин |
| цена часа (факт RunPod) | $0.74 (4090 + том 60 ГБ + диск 20 ГБ) | |
| весь круг на поде jc1m6xruon528g | среда 10 мин + 26 шагов; упаковано 21:57 CEST, архив на сервере 00:10 CEST | |
| итого | ≤ $40 | ≈ $4 на всех подах (включая два неудачных старта: pip на python 3.11 и колесо torch под CUDA 13); остаток на счёте $40.03 из $44 |
Круг не успешен - массовое обучение на книгах не начинается (и не начиналось бы при успехе, ADR-024). Следующая точка решения владельца: ступень Г3/Г4 (способ) на той же карте за ~$2-4, либо остановка ветки «знание в весах» в пользу чтения с текстом в окне (оракул базы 60-63 % против 8-10 % вслепую), либо ожидание Mac Studio (ADR-025). Наборы, правило чтения, приборы - не тронуты.
Архив karta-2026-09-14-2157.tar.gz перенесён на сервер и
сверен по sha256: сошёлся (сторож, 00:10:39 CEST 15.09;
66 033 953 байта, 8023da7ec4bcb677…). Чекпоинты, сырые
итоги, конфиги, журналы на месте: да -
vozvrat/adaptery/{V6-s42,V6-s43,V7-s42,V7-s43}/{adapter,adapter-epoch10}
(8 чекпоинтов, 141 МБ), obuchenie-*.log × 4,
config-*.json × 4, dataset-*.json × 4,
pip-freeze-karty.txt, nvidia-smi.txt,
krug_karta.log, vremena.tsv, 87 файлов итогов.
Под jc1m6xruon528g остановлен 00:10 CEST, не удалён;
остановленные поды eltk0bjf4gsrzd и
xmfr68u0bjochi (неудачные старты) тоже не удалены - их тома
стоят $0.052/ч на троих. Владельцу подтверждено «GPU можно удалять»:
15.09.2026 00:50 CEST, этим отчётом (удаление подов -
его слово, кнопка в чате).