quant.cpp์ ๋ค์ WBS ํญ๋ชฉ์ ์์จ์ ์ผ๋ก ๊ตฌํํ๋ค. Karpathy ๋ฃจํ ํจํด: score โ implement โ score โ commit/revert. '๊ฐ๋ฐํด์ค', '๋ค์ ํญ๋ชฉ ๊ตฌํ', '๋ค์ WBS', 'develop', ํน์ ๋ชจ๋๋ช (polar, qjl ๋ฑ) ์ธ๊ธ ์ ์ฌ์ฉ.
quant.cpp ์ง์์ฑ์ฅ ๋ฃจํ. ์๋์ผ๋ก ํ์ฌ ์ํ๋ฅผ ์ฝ๊ณ , ๊ฐ์ฅ ์ํฉํธ ์๋ ๋ค์ ์์ ์ ์ ํํ์ฌ ๊ตฌํํ๊ณ , ๊ฒ์ฆํ๋ค. 'grow', '์ฑ์ฅ', '๊ณ์', '๋ค์', '์งํ', '๊ฐ์ ' ์์ฒญ ์ ์ฌ์ฉ. ๋งค ๋ผ์ด๋๋ง๋ค state.md๋ฅผ ์ฝ๊ณ ์ ๋ฐ์ดํธํ์ฌ ์ธ์ ๊ฐ ์ฐ์์ฑ์ ๋ณด์ฅํ๋ค.
quant.cpp ๊ฐ๋ฐ ์ค์ผ์คํธ๋ ์ดํฐ. ์์ด์ ํธ ํ์ ๊ตฌ์ฑํ๊ณ , score ๊ธฐ๋ฐ Phase ์ ํ, ๋ณ๋ ฌ ์์ ์์, Merge Gate๋ฅผ ์๋ ์ํํ๋ค. '๊ฐ๋ฐ ์์', 'ํ๋ค์ค ์คํ', 'ํ ๊ตฌ์ฑ', '์ค์ผ์คํธ๋ ์ด์ ' ์์ฒญ ์ ์ฌ์ฉ. ํ๋ก์ ํธ์ ํต์ฌ ๊ฐ๋ฐ ๋ฃจํ๋ฅผ ์กฐ์จํ๋ ์์ ์คํฌ.
quant.cpp์ ํตํฉ ์ ํฉ์ฑ์ ๊ฒ์ฆํ๋ค. ๋ชจ๋ ๊ฐ ๊ฒฝ๊ณ๋ฉด ๋ถ์ผ์น, ํ์ ์์คํ ์ ํฉ์ฑ, quantizeโattention ํ์ดํ๋ผ์ธ, cache ๋ฌด๊ฒฐ์ฑ์ ๊ต์ฐจ ๋น๊ตํ๋ค. '๊ฒ์ฆ', 'QA', 'ํ ์คํธ', '์ ํฉ์ฑ ํ์ธ', 'validate' ์์ฒญ ์, ๋๋ ์ฝ๋ ๋ณ๊ฒฝ ํ ๋จธ์ง ์ ์ ์๋์ผ๋ก ์ฌ์ฉ.
quant.cpp์ 5์ฐจ์ ์ค์ฝ์ด๋ง ํ๋ค์ค๋ฅผ ์คํํ๊ณ ๊ฒฐ๊ณผ๋ฅผ ๋ถ์ํ๋ค. 'score', '์ ์', 'ํ์ฌ ์ํ', '์ค์ฝ์ด', 'ํ๊ฐ' ์์ฒญ ์ ์ฌ์ฉ. ๊ตฌ์กฐ/์ ํ์ฑ/ํ์ง/์ฑ๋ฅ/ํตํฉ 5๊ฐ ์ฐจ์์ ์๋ ์ธก์ ํ๊ณ , ๋ณ๋ชฉ ์ฐจ์๊ณผ ๋ค์ ์ต์ ํ๋์ ์ถ์ฒํ๋ค.