ÄÁÅÙÃ÷»ó¼¼º¸±â

LLMÀ» È°¿ëÇÑ ½ÇÀü AI ¾ÖÇø®ÄÉÀÌ¼Ç °³¹ß
LLMÀ» È°¿ëÇÑ ½ÇÀü AI ¾ÖÇø®ÄÉÀÌ¼Ç °³¹ß
  • ÀúÀÚÇãÁ¤ÁØ
  • ÃâÆÇ»çÃ¥¸¸
  • ÃâÆÇÀÏ2024-09-02
  • µî·ÏÀÏ2024-11-27
º¸À¯ 5, ´ëÃâ 0, ¿¹¾à 0, ´©Àû´ëÃâ 1, ´©Àû¿¹¾à 0

Ã¥¼Ò°³

À̠å¿¡¼­´Â LLMÀÇ ±âº» ¾ÆÅ°ÅØó¿¡¼­ Ãâ¹ßÇØ ¾ÖÇø®ÄÉÀ̼ÇÀÇ ¿ä±¸»çÇ׿¡ ¸ÂÃç LLMÀ» ±æµéÀÌ°í Á¦ÇѵȠÄÄÇ»Æàȯ°æ¿¡¼­ µ¿ÀÛÇÏ°Ô °æ·®È­Çؼ­ ¿øÈ°ÇÏ°Ô ¼­ºùÇÏ°Ô²û ±âÃʸ¦ ´ÙÁø ´ÙÀ½¿¡ RAG¶ó´Â LLMÀÇ ´ëÇ¥ÀûÀΠ¾ÖÇø®ÄÉÀ̼ÇÀ» ¸¸µå´Â ¹æ¹ýÀ» Â÷±ÙÂ÷±Ù ¼³¸íÇÑ´Ù. ¿©±â¼­ ³¡³ªÁö ¾Ê°í ½ÇÁ¦ ¿î¿µ°úÁ¤¿¡¼­ ºÎµúÈ÷´Â ¾î·Á¿òÀ» ÇؼÒÇϴ ¹æ¹ý°ú ¸ÖƼ ¸ð´Þ°ú ´õºÒ¾î ¿¡ÀÌÀüÆ®¿Í °°Àº °í±Þ ÁÖÁ¦±îÁö ´Ù·é´Ù. 

LLM ½Ã´ë¸¦ ¸ÂÀÌÇÏ¿© ÇʼöÀûÀ¸·Î °®Ãç¾ß Çϴ °³¹ß Áö½ÄÀ» À̷аú ½Ç¹« ¾çÂÊ °üÁ¡¿¡¼­ ¼³¸íÇÏ°í ÀÖÀ¸¹Ç·Î, »õ·Î¿î Æз¯´ÙÀÓ¿¡ ÀûÀÀÇÏ°íÀÚ Çϴ °³¹ßÀڵ鿡°Ô °¡¹³ÀÇ ´Üºñó·³ ´Ù°¡¿Ã °ÍÀÌ´Ù.

ÀúÀÚ¼Ò°³

¼­¿ï´ëÇб³ ±â°èÇ×°ø°øÇкθ¦ Á¹¾÷ÇÏ°í ·Ôµ¥¸é¼¼Á¡ ºòµ¥ÀÌÅÍÆÀ µ¥ÀÌÅÍ ºÐ¼®°¡¸¦ °ÅÃÄ ÇöÀç´Â ÇÁ¸®·£¼­ ¸¶ÄÏ Å©¸ù¿¡¼­ AI ¿£Áö´Ï¾î·Î ÀÏÇÏ°í ÀÖ´Ù. ¡ºÆÄÀÌÅäÄ¡ ¶óÀÌÆ®´×À¸·Î ½ÃÀÛÇϴ µö·¯´×¡»À» ¹ø¿ªÇßÀ¸¸ç, ÃÖ±Ù¿¡´Â LLMÀ» È°¿ëÇÑ ¾î½Ã½ºÅÏÆ®(¿¡ÀÌÀüÆ®) °³¹ß¿¡ °ü½ÉÀÌ ¸¹´Ù.

¸ñÂ÷

[1ºÎ] LLMÀÇ ±âÃÊ »À´ë ¼¼¿ì±â

1Àå LLM Áöµµ

1.1 µö·¯´×°ú ¾ð¾î ¸ðµ¨¸µ

__1.1.1 µ¥ÀÌÅÍÀǠƯ¡À» ½º½º·Î ÃßÃâÇϴ µö·¯´×

__1.1.2 ÀÓº£µù: µö·¯´× ¸ðµ¨ÀÌ µ¥ÀÌÅ͸¦ Ç¥ÇöÇϴ ¹æ½Ä

__1.1.3 ¾ð¾î ¸ðµ¨¸µ: µö·¯´× ¸ðµ¨ÀÇ ¾ð¾î ÇнÀ¹ý

1.2 ¾ð¾î ¸ðµ¨À̠êGPT°¡ µÇ±â±îÁö

__1.2.1 RNN¿¡¼­ Æ®·£½ºÆ÷¸Ó ¾ÆÅ°ÅØó·Î

__1.2.2 GPT ½Ã¸®Áî·Î º¸´Â ¸ðµ¨ Å©±â¿Í ¼º´ÉÀÇ °ü°è

__1.2.3 ÃªGPTÀÇ µîÀå

1.3 LLM ¾ÖÇø®ÄÉÀ̼ÇÀÇ ½Ã´ë°¡ ¿­¸®´Ù

__1.3.1 Áö½Ä »ç¿ë¹ýÀ» È¹±âÀûÀ¸·Î ¹Ù²Û LLM

__1.3.2 sLLM: ´õ ÀÛ°í È¿À²ÀûÀΠ¸ðµ¨ ¸¸µé±â

__1.3.3 ´õ È¿À²ÀûÀΠÇнÀ°ú Ãß·ÐÀ» À§ÇÑ ±â¼ú

__1.3.4 LLMÀǠȯ°¢ Çö»óÀ» ´ëóÇϴ °Ë»ö Áõ°­ »ý¼º(RAG) ±â¼ú

1.4 LLMÀÇ ¹Ì·¡: Àνİú ÇൿÀÇ È®Àå

1.5 Á¤¸®



2Àå LLMÀÇ ÁßÃß, Æ®·£½ºÆ÷¸Ó ¾ÆÅ°ÅØó »ìÆ캸±â

2.1 Æ®·£½ºÆ÷¸Ó ¾ÆÅ°ÅØó¶õ

2.2 ÅؽºÆ®¸¦ ÀÓº£µùÀ¸·Î º¯È¯Çϱâ

__2.2.1 ÅäÅ«È­

__2.2.2 ÅäÅ« ÀÓº£µùÀ¸·Î º¯È¯Çϱâ

__2.2.3 À§Ä¡ ÀÎÄÚµù

2.3 ¾îÅټǠÀÌÇØÇϱâ

__2.3.1 »ç¶÷ÀÌ ±ÛÀ» Àд ¹æ¹ý°ú ¾îÅÙ¼Ç

__2.3.2 Äõ¸®, Å°, °ª ÀÌÇØÇϱâ

__2.3.3 ÄÚµå·Î º¸´Â ¾îÅÙ¼Ç

__2.3.4 ¸ÖƼ Çìµå ¾îÅÙ¼Ç

2.4 Á¤±ÔÈ­¿Í Çǵå Æ÷¿öµå Ãþ

__2.4.1 Ãþ Á¤±ÔÈ­ ÀÌÇØÇϱâ

__2.4.2 Çǵå Æ÷¿öµå Ãþ

2.5 ÀÎÄÚ´õ

2.6 µðÄÚ´õ

2.7 BERT, GPT, T5 µî Æ®·£½ºÆ÷¸Ó¸¦ È°¿ëÇÑ ¾ÆÅ°ÅØó

__2.7.1 ÀÎÄÚ´õ¸¦ È°¿ëÇÑ BERT

__2.7.2 µðÄÚ´õ¸¦ È°¿ëÇÑ GPT

__2.7.3 ÀÎÄÚ´õ¿Í µðÄÚ´õ¸¦ ¸ðµÎ »ç¿ëÇϴ BART, T5

2.8 ÁÖ¿ä »çÀü ÇнÀ ¸ÞÄ¿´ÏÁò

__2.8.1 ÀΰúÀû ¾ð¾î ¸ðµ¨¸µ

__2.8.2 ¸¶½ºÅ© ¾ð¾î ¸ðµ¨¸µ

2.9 Á¤¸®



3Àå Æ®·£½ºÆ÷¸Ó ¸ðµ¨À» ´Ù·ç±â À§ÇÑ Çã±ëÆäÀ̽º Æ®·£½ºÆ÷¸Ó ¶óÀ̺귯¸®

3.1 Çã±ëÆäÀ̽º Æ®·£½ºÆ÷¸Ó¶õ

3.2 Çã±ëÆäÀ̽º Çãºê Å½»öÇϱâ

__3.2.1 ¸ðµ¨ Çãºê

__3.2.2 µ¥ÀÌÅͼ Çãºê

__3.2.3 ¸ðµ¨ µ¥¸ð¸¦ °ø°³ÇÏ°í »ç¿ëÇÒ ¼ö Àִ ½ºÆäÀ̽º

3.3 Çã±ëÆäÀ̽º ¶óÀ̺귯¸® »ç¿ë¹ý ÀÍÈ÷±â

__3.3.1 ¸ðµ¨ È°¿ëÇϱâ

__3.3.2 ÅäÅ©³ªÀÌÀú È°¿ëÇϱâ

__3.3.3 µ¥ÀÌÅͼ Ȱ¿ëÇϱâ

3.4 ¸ðµ¨ ÇнÀ½ÃÅ°±â

__3.4.1 µ¥ÀÌÅÍ Áغñ

__3.4.2 Æ®·¹À̳ʠAPI¸¦ »ç¿ëÇØ ÇнÀÇϱâ

__3.4.3 Æ®·¹À̳ʠAPI¸¦ »ç¿ëÇÏÁö ¾Ê°í ÇнÀÇϱâ

__3.4.4 ÇнÀÇÑ ¸ðµ¨ ¾÷·ÎµåÇϱâ

3.5 ¸ðµ¨ Ãß·ÐÇϱâ

__3.5.1 ÆÄÀÌÇÁ¶óÀÎÀ» È°¿ëÇÑ Ãß·Ð

__3.5.2 Á÷Á¢ Ãß·ÐÇϱâ

3.6 Á¤¸®



4Àå ¸» Àß µè´Â ¸ðµ¨ ¸¸µé±â

4.1 ÄÚµù Å×½ºÆ® Åë°úÇϱâ: »çÀü ÇнÀ°ú Áöµµ ¹Ì¼¼ Á¶Á¤

__4.1.1 ÄÚµù °³³ä ÀÍÈ÷±â: LLMÀÇ »çÀü ÇнÀ

__4.1.2 ¿¬½À¹®Á¦ Ç®¾îº¸±â: Áöµµ ¹Ì¼¼ Á¶Á¤

__4.1.3 ÁÁÀº Áö½Ã µ¥ÀÌÅͼÂÀÌ °®Ãç¾ß ÇÒ Á¶°Ç

4.2 Ã¤Á¡ ¸ðµ¨·Î Äڵ堰¡µ¶¼º ³ôÀ̱â

__4.2.1 ¼±È£ µ¥ÀÌÅͼÂÀ» »ç¿ëÇѠäÁ¡ ¸ðµ¨ ¸¸µé±â

__4.2.2 °­È­ ÇнÀ: ³ôÀº Äڵ堰¡µ¶¼º Á¡¼ö¸¦ ÇâÇØ

__4.2.3 PPO: º¸»ó ÇØÅ· ÇÇÇϱâ

__4.2.4 RLHF: ¸ÚÁöÁö¸¸ ÇÇÇÒ ¼ö Àִٸ顦

4.3 °­È­ ÇнÀÀÌ ²À ÇÊ¿äÇÒ±î?

__4.3.1 ±â°¢ »ùÇøµ: ´Ü¼øÈ÷ °¡Àå Á¡¼ö°¡ ³ôÀº µ¥ÀÌÅ͸¦ »ç¿ëÇÑ´Ù¸é?

__4.3.2 DPO: ¼±È£ µ¥ÀÌÅͼÂÀ» Á÷Á¢ ÇнÀÇϱâ

__4.3.3 DPO¸¦ »ç¿ëÇØ ÇнÀÇÑ ¸ðµ¨µé

4.4 Á¤¸®



[2ºÎ LLM ±æµéÀ̱â]

5Àå GPU È¿À²ÀûÀΠÇнÀ

5.1 GPU¿¡ ¿Ã¶ó°¡´Â µ¥ÀÌÅÍ »ìÆ캸±â

__5.1.1 µö·¯´× ¸ðµ¨ÀÇ µ¥ÀÌÅ͠ŸÀÔ

__5.1.2 ¾çÀÚÈ­·Î ¸ðµ¨ ¿ë·® ÁÙÀ̱â

__5.1.3 GPU ¸Þ¸ð¸® ºÐÇØÇϱâ

5.2 ´ÜÀÏ GPU È¿À²ÀûÀ¸·Î È°¿ëÇϱâ

__5.2.1 ±×·¹À̵ð¾ðÆ® ´©Àû

__5.2.2 ±×·¹À̵ð¾ðÆ® Ã¼Å©Æ÷ÀÎÆÃ

5.3 ºÐ»ê ÇнÀ°ú ZeRO

__5.3.1 ºÐ»ê ÇнÀ

__5.3.2 µ¥ÀÌÅÍ º´·ÄÈ­¿¡¼­ Áߺ¹ ÀúÀå ÁÙÀ̱â(ZeRO)

5.4 È¿À²ÀûÀΠÇнÀ ¹æ¹ý(PEFT): LoRA

__5.4.1 ¸ðµ¨ ÆĶó¹ÌÅÍÀÇ ÀϺθ¸ À籸¼ºÇØ ÇнÀÇϴ LoRA

__5.4.2 LoRA ¼³Á¤ »ìÆ캸±â

__5.4.3 ÄÚµå·Î LoRA ÇнÀ »ç¿ëÇϱâ

5.5 È¿À²ÀûÀΠÇнÀ ¹æ¹ý(PEFT): QLoRA

__5.5.1 4ºñÆ® ¾çÀÚÈ­¿Í 2Â÷ ¾çÀÚÈ­

__5.5.2 ÆäÀÌÁö ¿ÉƼ¸¶ÀÌÀú

__5.5.3 ÄÚµå·Î QLoRA ¸ðµ¨ È°¿ëÇϱâ

5.6 Á¤¸®



6Àå sLLM ÇнÀÇϱâ

6.1 Text2SQL µ¥ÀÌÅͼÂ

__6.1.1 ´ëÇ¥ÀûÀΠText2SQL µ¥ÀÌÅͼÂ

__6.1.2 Çѱ¹¾î µ¥ÀÌÅͼÂ

__6.1.3 ÇÕ¼º µ¥ÀÌÅÍ È°¿ë

6.2 ¼º´É Æò°¡ ÆÄÀÌÇÁ¶óÀΠÁغñÇϱâ

__6.2.1 Text2SQL Æò°¡ ¹æ½Ä

__6.2.2 Æò°¡ µ¥ÀÌÅͼ ±¸Ãà

__6.2.3 SQL »ý¼º ÇÁ·ÒÇÁÆ®

__6.2.4 GPT-4 Æò°¡ ÇÁ·ÒÇÁÆ®¿Í ÄÚµå Áغñ

6.3 ½Ç½À: ¹Ì¼¼ Á¶Á¤ ¼öÇàÇϱâ

__6.3.1 ±âÃÊ ¸ðµ¨ Æò°¡Çϱâ

__6.3.2 ¹Ì¼¼ Á¶Á¤ ¼öÇà

__6.3.3 ÇнÀ µ¥ÀÌÅÍ Á¤Á¦¿Í ¹Ì¼¼ Á¶Á¤

__6.3.4 ±âÃÊ ¸ðµ¨ º¯°æ

__6.3.5 ¸ðµ¨ ¼º´É ºñ±³

6.4 Á¤¸®



7À堸𵨠°¡º±°Ô ¸¸µé±â

7.1 ¾ð¾î ¸ðµ¨ Ã߷РÀÌÇØÇϱâ

__7.1.1 ¾ð¾î ¸ðµ¨ÀÌ ¾ð¾î¸¦ »ý¼ºÇϴ ¹æ¹ý

__7.1.2 Áߺ¹ ¿¬»êÀ» ÁÙÀ̴ KV Ä³½Ã

__7.1.3 GPU ±¸Á¶¿Í ÃÖÀûÀÇ ¹èÄ¡ Å©±â

__7.1.4 KV Ä³½Ã ¸Þ¸ð¸® ÁÙÀ̱â

7.2 ¾çÀÚÈ­·Î ¸ðµ¨ ¿ë·® ÁÙÀ̱â

__7.2.1 ºñÃ÷¾Ø¹ÙÀÌÃ÷

__7.2.2 GPTQ

__7.2.3 AWQ

7.3 Áö½Ä Áõ·ù È°¿ëÇϱâ

7.4 Á¤¸®



8Àå sLLM ¼­ºùÇϱâ

8.1 È¿À²ÀûÀΠ¹èÄ¡ Àü·«

__8.1.1 ÀϹݠ¹èÄ¡(Á¤Àû ¹èÄ¡)

__8.1.2 µ¿Àû ¹èÄ¡

__8.1.3 ¿¬¼Ó ¹èÄ¡

8.2 È¿À²ÀûÀΠƮ·£½ºÆ÷¸Ó ¿¬»ê

__8.2.1 Ç÷¡½Ã¾îÅÙ¼Ç

__8.2.2 Ç÷¡½Ã¾îÅټǠ2

__8.2.3 »ó´ëÀû À§Ä¡ ÀÎÄÚµù

8.3 È¿À²ÀûÀΠÃ߷РÀü·«

__8.3.1 Ä¿³Î Ç»Àü

__8.3.2 ÆäÀÌÁö¾îÅÙ¼Ç

__8.3.3 ÃßÃø µðÄÚµù

8.4 ½Ç½À: LLM ¼­ºù ÇÁ·¹ÀÓ¿öÅ©

__8.4.1 ¿ÀÇÁ¶óÀΠ¼­ºù

__8.4.2 ¿Â¶óÀΠ¼­ºù

8.5 Á¤¸®



[3ºÎ] LLMÀ» È°¿ëÇÑ ½ÇÀü ¾ÖÇø®ÄÉÀ̼Ǡ°³¹ß

9Àå LLM ¾ÖÇø®ÄÉÀ̼Ǡ°³¹ßÇϱâ

9.1 °Ë»ö Áõ°­ »ý¼º(RAG)

__9.1.1 µ¥ÀÌÅÍ ÀúÀå

__9.1.2 ÇÁ·ÒÇÁÆ®¿¡ °Ë»ö °á°ú ÅëÇÕ

__9.1.3 ½Ç½À: ¶ó¸¶À妽º·Î RAG ±¸ÇöÇϱâ

9.2 LLM Ä³½Ã

__9.2.1 LLM Ä³½Ã ÀÛµ¿ ¿ø¸®

__9.2.2 ½Ç½À: OpenAI API Ä³½Ã ±¸Çö

9.3 µ¥ÀÌÅÍ °ËÁõ

__9.3.1 µ¥ÀÌÅÍ °ËÁõ ¹æ½Ä

__9.3.2 µ¥ÀÌÅÍ °ËÁõ ½Ç½À

9.4 µ¥ÀÌÅÍ ·Î±ë

__9.4.1 OpenAI API ·Î±ë

__9.4.2 ¶ó¸¶À妽º ·Î±ë

9.5 Á¤¸®



10Àå ÀÓº£µù ¸ðµ¨·Î µ¥ÀÌÅÍ Àǹ̠¾ÐÃàÇϱâ

10.1 ÅؽºÆ® ÀÓº£µù ÀÌÇØÇϱâ

__10.1.1 ¹®Àå ÀÓº£µù ¹æ½ÄÀÇ ÀåÁ¡

__10.1.2 ¿øÇÖ ÀÎÄÚµù

__10.1.3 ¹é¿Àºê¿öÁî

__10.1.4 TF-IDF

__10.1.5 ¿öµåÅõº¤

10.2 ¹®Àå ÀÓº£µù ¹æ½Ä

__10.2.1 ¹®Àå »çÀÌÀÇ °ü°è¸¦ °è»êÇϴ µÎ °¡Áö ¹æ¹ý

__10.2.2 ¹ÙÀÌ ÀÎÄÚ´õ ¸ðµ¨ ±¸Á¶

__10.2.3 Sentence-Transformers·Î ÅؽºÆ®¿Í À̹ÌÁö ÀÓº£µù »ý¼ºÇØ º¸±â

__10.2.4 ¿ÀǼҽº¿Í »ó¾÷¿ë ÀÓº£µù ¸ðµ¨ ºñ±³Çϱâ

10.3 ½Ç½À: Àǹ̠°Ë»ö ±¸ÇöÇϱâ

__10.3.1 Àǹ̠°Ë»ö ±¸ÇöÇϱâ

__10.3.2 ¶ó¸¶À妽º¿¡¼­ Sentence-Transformers ¸ðµ¨ »ç¿ëÇϱâ

10.4 °Ë»ö ¹æ½ÄÀ» Á¶ÇÕÇØ ¼º´É ³ôÀ̱â

__10.4.1 Å°¿öµå °Ë»ö ¹æ½Ä: BM25

__10.4.2 »óÈ£ ¼øÀ§ Á¶ÇÕ ÀÌÇØÇϱâ

10.5 ½Ç½À: ÇÏÀ̺긮µå °Ë»ö ±¸ÇöÇϱâ

__10.5.1 BM25 ±¸ÇöÇϱâ

__10.5.2 »óÈ£ ¼øÀ§ Á¶ÇÕ ±¸ÇöÇϱâ

 __10.5.3 ÇÏÀ̺긮µå °Ë»ö ±¸ÇöÇϱâ

10.6 Á¤¸®



11Àå ÀÚ½ÅÀÇ µ¥ÀÌÅÍ¿¡ ¸ÂÃá ÀÓº£µù ¸ðµ¨ ¸¸µé±â: RAG °³¼±Çϱâ

11.1 °Ë»ö ¼º´ÉÀ» ³ôÀ̱â À§ÇÑ µÎ °¡Áö ¹æ¹ý

11.2 ¾ð¾î ¸ðµ¨À» ÀÓº£µù ¸ðµ¨·Î ¸¸µé±â

__11.2.1 ´ëÁ¶ ÇнÀ

__11.2.2 ½Ç½À: ÇнÀ ÁغñÇϱâ

__11.2.3 ½Ç½À: À¯»çÇÑ ¹®Àå µ¥ÀÌÅͷΠÀÓº£µù ¸ðµ¨ ÇнÀÇϱâ

11.3 ÀÓº£µù ¸ðµ¨ ¹Ì¼¼ Á¶Á¤Çϱâ

__11.3.1 ½Ç½À: ÇнÀ Áغñ

__11.3.2 MNR ¼Õ½ÇÀ» È°¿ëÇØ ¹Ì¼¼ Á¶Á¤Çϱâ

11.4 °Ë»ö Ç°ÁúÀ» ³ôÀ̴ ¼øÀ§ ÀçÁ¤·Ä

11.5 ¹ÙÀÌ ÀÎÄÚ´õ¿Í ±³Â÷ ÀÎÄÚ´õ·Î °³¼±µÈ RAG ±¸ÇöÇϱâ

__11.5.1 ±âº» ÀÓº£µù ¸ðµ¨·Î °Ë»öÇϱâ

__11.5.2 ¹Ì¼¼ Á¶Á¤ÇÑ ÀÓº£µù ¸ðµ¨·Î °Ë»öÇϱâ

__11.5.3 ¹Ì¼¼ Á¶Á¤ÇÑ ÀÓº£µù ¸ðµ¨°ú ±³Â÷ ÀÎÄÚ´õ Á¶ÇÕÇϱâ

11.6 Á¤¸®



12Àå º¤ÅÍ µ¥ÀÌÅͺ£À̽º·Î È®ÀåÇϱâ: RAG ±¸ÇöÇϱâ

12.1 º¤ÅÍ µ¥ÀÌÅͺ£À̽º¶õ

__12.1.1 µö·¯´×°ú º¤ÅÍ µ¥ÀÌÅͺ£À̽º

__12.1.2 º¤ÅÍ µ¥ÀÌÅͺ£À̽º ÁöÇü ÆľÇÇϱâ

12.2 º¤ÅÍ µ¥ÀÌÅͺ£À̽º ÀÛµ¿ ¿ø¸®

__12.2.1 KNN °Ë»ö°ú ±× ÇÑ°è

__12.2.2 ANN °Ë»öÀ̶õ

__12.2.3 Å½»ö °¡´ÉÇÑ ÀÛÀº ¼¼°è(NSW)

__12.2.4 °èÃþ ±¸Á¶

12.3 ½Ç½À: HNSW À妽ºÀÇ ÇٽɠÆĶó¹ÌÅÍ ÀÌÇØÇϱâ

__12.3.1 ÆĶó¹ÌÅÍ m ÀÌÇØÇϱâ

__12.3.2 ÆĶó¹ÌÅÍ ef_construction ÀÌÇØÇϱâ

__12.3.3 ÆĶó¹ÌÅÍ ef_search ÀÌÇØÇϱâ

12.4 ½Ç½À: ÆÄÀÎÄÜÀ¸·Î º¤ÅÍ °Ë»ö ±¸ÇöÇϱâ

__12.4.1 ÆÄÀÎÄܠŬ¶óÀ̾ðÆ® »ç¿ë¹ý

__12.4.2 ¶ó¸¶À妽º¿¡¼­ º¤ÅÍ µ¥ÀÌÅͺ£À̽º º¯°æÇϱâ

12.5 ½Ç½À: ÆÄÀÎÄÜÀ» È°¿ëÇØ ¸ÖƼ ¸ð´Þ °Ë»ö ±¸ÇöÇϱâ

__12.5.1 µ¥ÀÌÅͼÂ

__12.5.2 ½Ç½À È帧

__12.5.3 GPT-4o·Î À̹ÌÁö ¼³¸í »ý¼ºÇϱâ

__12.5.4 ÇÁ·ÒÇÁÆ® ÀúÀå

__12.5.5 À̹ÌÁö ÀÓº£µù °Ë»ö

__12.5.6 DALL-E 3·Î À̹ÌÁö »ý¼º

12.6 Á¤¸®



13Àå LLM ¿î¿µÇϱâ

13.1 MLOps

__13.1.1 µ¥ÀÌÅÍ °ü¸®

__13.1.2 ½ÇÇè °ü¸®

__13.1.3 ¸ðµ¨ ÀúÀå¼Ò

__13.1.4 ¸ðµ¨ ¸ð´ÏÅ͸µ

13.2 LLMOps´Â ¹«¾ùÀÌ ´Ù¸¦±î?

__13.2.1 »ó¾÷¿ë ¸ðµ¨°ú ¿ÀǼҽº ¸ðµ¨ ¼±ÅÃÇϱâ

__13.2.2 ¸ðµ¨ ÃÖÀûÈ­ ¹æ¹ýÀÇ º¯È­

__13.2.3 LLM Æò°¡ÀÇ ¾î·Á¿ò

13.3 LLM Æò°¡Çϱâ

__13.3.1 Á¤·®Àû ÁöÇ¥

__13.3.2 º¥Ä¡¸¶Å© µ¥ÀÌÅͼÂÀ» È°¿ëÇÑ Æò°¡

__13.3.3 »ç¶÷ÀÌ Á÷Á¢ Æò°¡Çϴ ¹æ½Ä

__13.3.4 LLMÀ» ÅëÇÑ Æò°¡

__13.3.4 RAG Æò°¡

13.4 Á¤¸®



[4ºÎ] ¸ÖƼ ¸ð´Þ, ¿¡ÀÌÀüÆ® ±×¸®°í LLMÀÇ ¹Ì·¡

14Àå ¸ÖƼ ¸ð´Þ

LLM 14.1 ¸ÖƼ ¸ð´Þ LLMÀ̶õ

__14.1.1 ¸ÖƼ ¸ð´Þ LLMÀÇ ±¸¼º¿ä¼Ò

__14.1.2 ¸ÖƼ ¸ð´Þ LLM ÇнÀ °úÁ¤

14.2 À̹ÌÁö¿Í ÅؽºÆ®¸¦ ¿¬°áÇϴ ¸ðµ¨: CLIP

__14.2.1 CLIP ¸ðµ¨À̶õ

__14.2.2 CLIP ¸ðµ¨ÀÇ ÇнÀ ¹æ¹ý

__14.2.3 CLIP ¸ðµ¨ÀÇ È°¿ë°ú ¶Ù¾î³­ ¼º´É

__14.2.4 CLIP ¸ðµ¨ Á÷Á¢ È°¿ëÇϱâ

14.3 ÅؽºÆ®·Î À̹ÌÁö¸¦ »ý¼ºÇϴ ¸ðµ¨: DALL-E

__14.3.1 µðÇ»Àü ¸ðµ¨ ¿ø¸®

__14.3.2 DALL-E ¸ðµ¨

14.4 LLaVA

__14.4.1 LLaVAÀÇ ÇнÀ µ¥ÀÌÅÍ

__14.4.2 LLaVA ¸ðµ¨ ±¸Á¶

__14.4.3 LLaVA 1.5

__14.4.4 LLaVA NeXT

14.5 Á¤¸®



15Àå LLM ¿¡ÀÌÀüÆ®

15.1 ¿¡ÀÌÀüÆ®¶õ

__15.1.1 ¿¡ÀÌÀüÆ®ÀÇ ±¸¼º¿ä¼Ò

__15.1.2 ¿¡ÀÌÀüÆ®ÀÇ µÎ³ú

__15.1.3 ¿¡ÀÌÀüÆ®ÀÇ °¨°¢

__15.1.4 ¿¡ÀÌÀüÆ®ÀÇ Çൿ

15.2 ¿¡ÀÌÀüÆ® ½Ã½ºÅÛÀÇ ÇüÅÂ

__15.2.1 ´ÜÀÏ ¿¡ÀÌÀüÆ®

__15.2.2 »ç¿ëÀÚ¿Í ¿¡ÀÌÀüÆ®ÀÇ »óÈ£ÀÛ¿ë

__15.2.3 ¸ÖƼ ¿¡ÀÌÀüÆ®

15.3 ¿¡ÀÌÀüÆ® Æò°¡Çϱâ

15.4 ½Ç½À: ¿¡ÀÌÀüÆ® ±¸Çö

__15.4.1 AutoGen ±âº» »ç¿ë¹ý

__15.4.2 RAG ¿¡ÀÌÀüÆ®

__15.4.3 ¸ÖƼ ¸ð´Þ ¿¡ÀÌÀüÆ®

15.5 Á¤¸®



16Àå »õ·Î¿î ¾ÆÅ°ÅØó 

16.1 ±âÁ¸ ¾ÆÅ°ÅØóÀÇ Àå´ÜÁ¡

16.2 SSM

__16.2.1 S4

16.3 ¼±Åà¸ÞÄ¿´ÏÁò

16.4 ¸¾¹Ù

__16.4.1 ¸¾¹ÙÀÇ ¼º´É

__16.4.2 ±âÁ¸ ¾ÆÅ°ÅØó¿ÍÀÇ ºñ±³

16.5 ÄÚµå·Î º¸´Â ¸¾¹Ù



ºÎ·Ï | ½Ç½ÀÀ» À§ÇÑ Áغñ»çÇ×

A.1 ±¸±Û ÄÚ·¦ »ç¿ë¹ý

A.2 Çã±ëÆäÀ̽º ÅäÅ«

A.3 OpenAI ÅäÅ«