LLM Tool Call

LLM Tool Call 공부

Chain 예시

전체 코드

from datetime import datetime
from langchain_core.prompts import ChatPromptTemplace
from langchain_core.runnables import RunnableConfig, chain
from langchain_openai import ChatOpenAI
from langchain_community.tools import TavilySearchResults
 
import pprint
 
# 오늘 날짜 설정
today = datetime.today().strftime("%Y-%m-%d")
 
# 프롬프트 템플릿
prompt = ChatPromptTemplace([
	("system", f"You are a helpful AI assistant. Today's date is {today}"),
	("human", "{user_input}"),
	("placeholder", "{messages}"),
])
 
# ChatOpenAI 모델 초기화
llm = ChatOpenAI(model="gpt-4o-mini")
 
# Tavily Search 도구 초기화 (최대 2개의 결과 반환)
web_search = TavilySearchResults(max_results=2)
 
# LLM에 도구를 바인딩
llm_with_tools = llm.bind_tools(tools=[web_search])
 
# LLM 체인 생성
llm_chain = prompt | llm_with_tools
 
# 도구 실행 체인 정의
@chain
def web_search_chain(user_input: str, config: RunnableConfig):
	input_ = {"user_input": user_input}
	ai_msg = llm_chain.invoke(input_, config=config)
	print("ai_msg: \n", ai_msg)
	print("-" * 100)
	tool_msgs = web_search.batch(ai_msg.tool_calls, config=config)
	print("tool_msgs: \n", tool_msgs)
	print("-" * 100)
	return llm_chain.invoke({**input_, "messages": [ai_msg, *tool_msgs]}, config=config)
 
# 체인 실행
response = web_search_chain.invoke("오늘 모엣샹동 샴페인의 가격은 얼마인가요?")
 
# 응답 출력
pprint(response.content)

✅ 1. 프롬프트 템플릿 정의

prompt = ChatPromptTemplate([
    ("system", f"You are a helpful AI assistant. Today's date is {today}"),
    ("human", "{user_input}"),
    ("placeholder", "{messages}"),
])

• LangChain의 ChatPromptTemplate을 사용해 multi-message 프롬프트를 정의.
• "system" 역할로 오늘 날짜 포함한 시스템 메시지를 제공.
• "human" 역할로 유저 입력을 받음.
• "placeholder"는 LLM의 응답이나 도구 호출 결과를 추가로 끼워넣기 위해 비워둠.

---

✅ 2. LLM 및 도구 바인딩

llm = ChatOpenAI(model="gpt-4o-mini")
llm_with_tools = llm.bind_tools(tools=[web_search])

• OpenAI의 gpt-4o-mini 모델을 사용.
• 여기에 web_search 도구를 바인딩해서 모델이 도중에 "tool_call"을 할 수 있도록 설정.

---

✅ 3. LLM 체인 구성

llm_chain = prompt | llm_with_tools

• 앞서 만든 프롬프트와 도구가 바인딩된 LLM을 파이프라인 형태로 연결해서 하나의 체인으로 만듦.
• 이 체인을 실행하면, 프롬프트 → 모델 → 도구 호출 가능 상태까지 이어짐.

---

✅ 4. 도구 실행을 포함한 전체 체인

@chain
def web_search_chain(user_input: str, config: RunnableConfig):
    input_ = {"user_input": user_input}
    ai_msg = llm_chain.invoke(input_, config=config)
    tool_msgs = web_search.batch(ai_msg.tool_calls, config=config)
    return llm_chain.invoke({**input_, "messages": [ai_msg, *tool_msgs]}, config=config)

• 유저의 질문을 받아 체인을 실행하는 래퍼 함수.
• 1단계: LLM이 먼저 질문에 대해 tool 호출이 필요하다고 판단하면, ai_msg.tool_calls를 포함한 응답을 생성.
• 2단계: web_search.batch(...)를 통해 tool call들을 실제로 실행.
• 3단계: 실행된 tool 결과(tool_msgs)를 다시 프롬프트에 넣어 LLM에게 최종 응답을 생성하도록 함.

---

✅ 5. 실행 및 결과 출력

response = web_search_chain.invoke("오늘 모엣샹동 샴페인의 가격은 얼마인가요?")
pprint(response.content)

• "오늘 모엣샹동 샴페인의 가격"이라는 질문을 입력으로 주고 체인 전체 실행.
• LLM이 도구 사용을 제안하고 → 도구 실행 → 도구 결과 포함하여 최종 응답 생성 → 출력.

---

💡 요약

이 코드는 다음과 같은 순서로 동작함:

1. 유저 질문 입력
2. LLM이 판단 → 도구 호출 필요함을 감지 (LLM 1차 호출)
3. 도구 호출 제안 (tool_calls)
4. 제안된 도구 실제로 실행 (web_search.batch) (만약, 도구 자체가 내부적으로 또 LLM을 호출한다면, 여기서도 조건부 호출)
5. 도구 결과와 함께 다시 프롬프트에 넣어서 최종 응답 생성 (LLM 2차 호출)
6. 응답 출력

@tool vs. Runnable.as_tool()

1. @tool decorator 방식

• “간편하고 빠르게” 사용자 정의 Tool을 만들기 위한 고전적 방법.
• 함수에 직접 @tool을 달아서, LangChain Tool 객체로 자동 변환.
• 내부적으로는 StructuredTool 또는 Tool 클래스를 생성하는 편의 기능.
• Signature(함수 시그니처) 를 자동 파악해서 파라미터 스키마를 만들어줌.

from langchain.tools import tool
 
@tool
def add_numbers(a: int, b: int) -> int:
	"""두 수를 더하는 도구."""
	return a + b

$\to$ 이걸 쓰면 바로 Tool 객체처럼 쓸 수 있고, 등록도 바로 가능.

2. Runnable을 .as_tool()로 변환하는 방식

• “훨씬 더 유연하고 복합적인” 동작을 다루기 위해 사용하는 방법.
• Runnable은 LangChain v0.1 이후 핵심 아키텍처로 streaming, batch, composability 같은 고급 기능을 다루기 위해 만들어진 프레임워크.
• Runnable 객체는 원래 chain, graph, model call, custom logic 전부 감쌀 수 있음.
• .as_tool()을 호출하면 이 복잡한 Runnable 객체를 Tool 인터페이스에 맞게 “포장” 하는 것.

from langchain_core.runnables import RunnableLambda
from pydantic import BaseModel, Field
 
def add_fn(inputs: dict) -> int:
	"""두 수를 더해서 반환하는 도구"""
	return inputs["a"] + inputs["b"]
 
class add_fn_Schema(BaseModel):
	"""Input schema for add_fn."""
	a: int = Field(..., description="Number 1 for addition")
	b: int = Field(..., description="Number 2 for addition")
 
runnable = RunnableLambda(add_fn)
tool = runnable.as_tool(
	name="add_numbers", 
	description="두 수를 더하는 도구",
	args_schema=add_fn_Schema,
)

$\to$ 이렇게 하면 Runnable을 가진 상태에서도 Tool처럼 쓸 수 있게 변환.

Tip

args_schema 인자에 class로 정의한 add_fn_Schema 를 넣어주었는데, 이는 필수는 아니지만, 이것들 또한 prompt에 입력되는 정보이므로, 좋은 성능을 위해서라면 정의해서 넣어주자.

요약 비교

항목	@tool 방식	Runnable.as_tool() 방식
주 용도	단순 함수 Tool화	복잡한 Runnable → Tool 변환
유연성	제한적 (함수 기반)	매우 높음 (모든 Runnable 가능)
내부 처리	StructuredTool 생성	RunnableTool 생성
사용 대상	순수 Python 함수	Runnable 객체 전체
특징	간편하고 빠름	유연하고 강력

Tip

• LangChain 최신 버전에서는 가능하면 Runnable 기반을 권장하는 흐름.
• 이유는 LangGraph 같은 멀티스텝 플로우나 스트리밍 처리를 생각하면, 단순 @tool 로는 한계가 있음.
• 특히 동적으로 chain을 만들거나, runtime에 구조를 바꾸는 것까지 생각한다면 무조건 Runnable-as-tool이 더 좋음!