์ข์ LLM์ ํ์ต์ํค๋ ๊ฒ๋ ์ค์ํ์ง๋ง ์ด๊ฑธ ์๋น์ค์ ์ ์ฉํ์ง ๋ชปํ๋ฉด ํฐ ์๋ฏธ๊ฐ ์๋ค. ํ์ง๋ง, ์ผ์ ์์ค ์ด์์ ์ฑ๋ฅ์ ์ง์ํ๋ LLM์ ์๋น์ค์ ์ ์ฉํ ๋ ํฌ๊ฒ ๋ ๊ฐ์ง์ ์ด๋ ค์์ด ์๋ค.
์ฒซ ๋ฒ์งธ ๋ฌธ์ ๋ ์๋๋ค. ์ค๊ฐ ์ฌ์ด์ฆ์ LLM์ธ Llama3 8B ๋ชจ๋ธ์ ์ผ๋ฐ์ ์ธ Transformers ํจํค์ง๋ฅผ ์ฌ์ฉํด์ ์ถ๋ก ํ๋ฉด, ๋จ์ํ ์ง๋ฌธ์๋ ์์ญ ์ด์ฉ ๊ธฐ๋ค๋ ค์ผ ํ๋ค. ๋ฐ๋ผ์, ์๋น์ค์ ์ ์ฉํ ๋งํผ์ ์ฑ๋ฅ์ ํ๋ณดํ๊ธฐ ์ํด์ ์ถ๋ก ์๋๋ฅผ ๋น ๋ฅด๊ฒ ๋ง๋ค ํ์๊ฐ ์๋ค.
๋ ๋ฒ์งธ ๋ฌธ์ ๋ ์ฌ์ฉ์ฑ์ด๋ค. ์ด๋ค ๋ชจ๋ธ์ด ์ฐ๋ฆฌ ์๋น์ค์ ๋ ์ ํฉํ์ง ํ๋จํ๋ ค๋ฉด, ๋ค์ํ ๋ชจ๋ธ์ ์๋น์ค์ ์ ์ฉํ๋ฉด์ ๊ฐ๊ธฐ ๋ค๋ฅธ ์ํฉ์ ๋ง๊ฒ ํ ์คํธํด์ผ ํ๋ค. ํ์ง๋ง ํ์ต๋ ๋ชจ๋ธ์ ์๋นํ๊ธฐ ์ํด์ ๊ฐ๋ฐ์๋ ๋ง์ ์ ๋ณด๋ฅผ ์์์ผ ํ๋ค. ์๋ฅผ ๋ค์ด, ๋ชจ๋ธ ์ฝ๋๋ฅผ ์ปจํ ์ด๋ํํ๊ธฐ ์ํด ํ์ํ Docker ์ด๋ฏธ์ง ๋น๋ ๋ฐฉ๋ฒ์ด๋, ์๋ฒ๋ฅผ Kubernetes์ ๋ฐฐํฌํ๊ธฐ ์ํด ํ์ํ manifest ์์ฑ๋ฒ ๋ฑ์ด ์๋ค. ์ด๋ฐ ํ๋ค ๋๋ฌธ์ ์ฌ๋ฌ ๋ชจ๋ธ์ ์๋นํด์ A/B ํ ์คํธ๋ก ๋น๊ตํ๊ธฐ ์ด๋ ต๋ค.