OpenAI 최대 컨텍스트 길이가 2049 토큰인 경우 어떻게 작업해야 하나요?

저는 다양한 PDF에서 텍스트를 OpenAI API로 보내고 싶습니다. 특히 2학년 학생을 위한 요약 또는 TL;DR 요약 API를 사용하고 싶습니다.

나는 PyMuPDF를 사용하여 PDF에서 텍스트를 추출하고 OpenAI 프롬프트를 준비할 수 있습니다.

질문: 토큰 수가 허용된 2049보다 긴 경우 프롬프트를 어떻게 준비해야 할까요?

• 텍스트를 단순히 잘라내고 여러 요청을 보내면 될까요?


• 아니면 핵심 포인트를 잃지 않도록 텍스트를 압축하는 방법이 있을까요?

답변 1

import tiktoken
encoding = tiktoken.encoding_for_model(gpt-3.5-turbo)
number_of_tokens = len(encoding.encode(tiktoken은 멋지다!))
print(number_of_tokens)

다음으로, 텍스트 요약 로직을 summarize_text 함수로 감싸줍니다.

def summarize_text(text):
  prompt = f다음 텍스트를 5문장으로 요약해주세요:\n{text}
  response = openai.Completion.create(
      engine=text-davinci-003, 
      prompt=prompt,
      temperature=0.3, 
      max_tokens=150, # = 112 words
      top_p=1, 
      frequency_penalty=0,
      presence_penalty=1
  )
  return response[choices][0][text]

최종 코드는 다음과 같습니다:

chunks = text_to_chunks(one_large_text)
chunk_summaries = []
for chunk in chunks:
  chunk_summary = summarize_text( .join(chunk))
  chunk_summaries.append(chunk_summary)
summary =  .join(chunk_summaries)

참고 자료

• tiktoken을 사용하여 토큰 수를 계산하는 방법, OpenAI Cookbook

답변 2

OpenAI의 최대 문맥 길이인 2049 토큰으로 작업하는 방법에 대해 알아보겠습니다.
OpenAI는 기계학습을 위한 자연어처리 모델을 제공하는 회사로, 최대 문맥 길이인 2049 토큰은 이 모델이 처리할 수 있는 문장의 최대 길이입니다. 이 길이 제한은 모델의 처리 능력을 최적화하기 위해 설정되었습니다.
첫 번째로, OpenAI의 문맥 길이 제한을 고려하여 데이터를 사용해야 합니다. 문장을 토큰으로 분할한 후, 최대 길이를 초과하지 않는 선에서 가능한 많은 데이터를 활용하는 것이 중요합니다.
또한, 문맥 길이 제한은 입력된 문장에 대한 결과 예측에 영향을 줄 수 있습니다. 따라서 모델 성능을 향상시키기 위해 중요한 정보를 포함한 짧은 문장을 작성하는 것이 필요합니다.
문맥 길이 제한이 있는 경우 불필요한 정보나 반복적인 내용을 제거함으로써 모델의 분석 및 학습 능력을 향상시킬 수 있습니다. 문맥 길이를 최대한 활용하기 위해 하이퍼매개변수 조정 및 필터링 작업을 수행하는 것도 좋은 전략입니다.
또한, 문맥 길이 제한이 작업에 부적합한 경우 부분적인 입력을 사용하는 것도 고려할 수 있습니다. 길이 제한을 초과하는 경우, 정보의 손실 없이 어떤 토큰을 삭제할지 신중하게 선택해야 합니다.
마지막으로, 문맥 길이 제한은 모델 사용 시 언어 처리에 대한 관리가 필요하다는 점을 강조해야 합니다. 목표는 모델의 처리 능력을 이용하면서도 중요한 정보의 유지 및 문맥 파악입니다.
OpenAI의 최대 문맥 길이인 2049 토큰으로 작업하는 방법을 요약하자면 다음과 같습니다. 데이터 선택, 짧은 문장 작성, 불필요한 정보 필터링, 하이퍼매개변수 조정, 부분적인 입력 고려, 언어 처리 관리 등입니다.
이 글을 통해 OpenAI의 최대 문맥 길이 제한에 대해 알려드렸습니다. 현명하게 이를 활용하면서 효과적인 자연어 처리 작업을 이끌어나가길 바랍니다.