LangChain에서 ConversationalRetrievalQAChain, Agents 및 Tools을 어떻게 결합하는지에 대해 알려드리겠습니다.

export const POST: RequestHandler = async ({ request }) => {
  const { messages } = await request.json();
  const { stream, handlers } = LangChainStream();
  const openAIApiKey = OPENAI_API_KEY;
  // 이 모델은 실제 질문에 답변하기 위해 사용됩니다
  const model = new ChatOpenAI({
    openAIApiKey,
    temperature: 0,
    streaming: true,
  });
  // 에이전트가 사용할 수 있는 도구 목록을 정의합니다
  const tools = [
    new SerpAPI(SERPAPI_API_KEY, {
      location: Austin,Texas,United States,
      hl: en,
      gl: us,
    }),
  ];
  // chat 모델과 도구를 사용하여 에이전트를 생성합니다
  const agent = ChatAgent.fromLLMAndTools(model, tools);
  // 응답이 발견될 때까지 에이전트에 대한 호출을 수행하는 executor를 생성합니다
  const executor = AgentExecutor.fromAgentAndTools({ agent, tools });
  const callbacks = CallbackManager.fromHandlers(handlers);
  const latest = (messages as Message[]).at(-1)!.content;
  executor.call({ input: latest }, callbacks).catch(console.error);
  return new StreamingTextResponse(stream);
};

그들 자체로는 잘 작동합니다. 어떻게 결합하나요?

나는 다음과 같은 워크플로우를 상상하고 있습니다:

1. 사용자의 질문이 들어옵니다.


2. LangChain은 인터넷 검색을 필요로하는 질문인지 판단합니다.


3. 인터넷 검색이 필요한 경우 SerpAPI 도구를 사용하여 검색하고 응답합니다.


4. 인터넷 검색이 필요하지 않은 경우 벡터 DB에서 유사한 청크를 검색하여 프롬프트를 구성하고 OpenAI에 질문합니다.


5. 어느 경우든 대화 기록에 포함되어야 하며, 사용자는 얼마나 비용이 드나요?라고 물을 수 있으며, 대화 기록을 바탕으로 암묵적으로 제품을 알 수 있어야 합니다.

이 가능한가요? 감사합니다!

답변 1

내 좋은 친구 Justin이 나를 올바른 방향으로 안내해주었습니다. LangChain에는 검색 대리자가 있습니다. 이 아이디어는 벡터-db 기반 검색 대리자가 LLM에게 제공되는 또 다른 도구라는 것입니다. 그래서 나의 예에서는 관련 데이터를 가져오는 도구와 인터넷 검색을 실행하는 또 다른 도구가 있을 겁니다. 사용자의 입력에 따라 LLM이 어떤 도구를 사용할지 결정할 것입니다.

자세한 내용과 샘플 코드는 다음 링크를 참조하세요: https://js.langchain.com/docs/use_cases/question_answering/conversational_retrieval_agents

답변 2

ConversationalRetrievalQAChain, Agents, and Tools in LangChain: A Harmonious Integration for Effective Communication
Introduction:
언어체인은 사용자들이 효과적으로 소통할 수 있도록 하는 혁신적인 기술입니다. 이 문서에서는 서로 유기적으로 결합하는 방법으로 ConversationalRetrievalQAChain, 에이전트, 그리고 도구들을 소개하고자 합니다. 언어체인은 SEO에 신경을 쓰는 한국어 글을 작성하기 위한 이러한 기술의 유용성을 찾으실 수 있습니다.
ConversationalRetrievalQAChain:
ConversationalRetrievalQAChain은 언어 이해와 질의응답 기술을 결합하여 사용자와의 대화를 원활하게 만들어줍니다. 이 기술은 사용자의 질문에 대한 정보를 추출하고 이를 정확한 답변으로 제공해줍니다. 예를 들어, 사용자가 오늘 날씨가 어떤가요?라고 물으면, ConversationalRetrievalQAChain은 인공지능을 통해 사용자의 위치 정보를 파악하고 해당 지역의 날씨 정보를 추출하여 사용자에게 제공해줍니다. 이러한 체인은 에이전트와 함께 작동하여 사용자의 요구에 맞춰 최적의 답변을 제공합니다.
Agents:
에이전트는 사용자와의 상호작용을 도와주는 인공지능입니다. 이들은 대화 도중 사용자의 요구를 파악하고 최적의 응답을 제공하여 상호작용을 원활하게 만듭니다. 예를 들어, 에이전트는 ConversationalRetrievalQAChain을 통해 얻은 사용자의 질문을 이해하고, 이를 다른 지능기반 도구들과 연계하여 최상의 해결책을 찾아냅니다. 에이전트는 언어체인 내의 역할을 총괄하며, 사용자의 명확하고 정확한 응답을 보장하는 중추적인 역할을 수행합니다.
Tools:
도구들은 언어체인을 향상시키기 위한 다양한 기술 및 알고리즘을 의미합니다. 예를 들어, 자연어처리 (NLP) 기술은 문장의 의미를 이해하고 사용자의 질문을 분석하여 적절한 답변을 제공합니다. 또한, 정보 검색 및 추천 시스템은 사용자에게 관련성 높은 정보를 제공하며, 지능형 분류기 기술은 사용자의 요구를 정확하게 파악하여 적절한 응답 전략을 수립합니다. 이러한 도구들은 에이전트와 ConversationalRetrievalQAChain을 보완하여 사용자에게 정확하고 시간적으로 효율적인 응답을 제공하는 데 필수적입니다.
결론:
언어체인을 통해 ConversationalRetrievalQAChain, 에이전트, 그리고 도구들이 상호작용하여 사용자와의 효과적인 의사소통이 가능해집니다. 이를 위해 에이전트는 사용자의 요구와 의도를 파악하고, ConversationalRetrievalQAChain을 통해 얻은 정보를 기반으로 최적의 답변을 제공합니다. 도구들은 언어 이해, 정보 검색, 추천, 분류 등 다양한 기능을 제공하여 체인의 효율성을 극대화합니다. 이러한 협업을 통해 사용자들은 원활하고 정확한 소통을 경험할 수 있으며, SEO를 고려한 한국어 글 작성에도 큰 도움이 됩니다.