ChatGPT API에 긴 텍스트 입력을 보내는 방법은 무엇인가요?

ChatGPT를 사용하여 긴 텍스트 (가끔 한 시간 이상인 음성 대 텍스트 대화)를 요약하는 사용 사례가 있습니다.

하지만 4k 토큰 제한으로 인해 입력 텍스트가 절반 정도로 잘리는 경향을 발견합니다.

부분적으로 처리하면 이전 부분의 이력을 유지하지 못하는 것 같습니다.

4k 토큰을 넘는 긴 요청을 제출하는 옵션은 무엇이 있습니까?

답변 1

귀하의 질문에 가장 가까운 답은 임베딩 형태로 나올 것입니다.

이들이 무엇인지 개요를 여기에서 찾을 수 있습니다.

OpenAI Cookbook Github 페이지의 이 코드를 확인하는 것을 권장합니다. 이 코드는 Web Crawl Q&A 예제를 사용하여 임베딩을 설명하고 있습니다.

저는 Step 5부터 코드를 사용하고, 텍스트의 위치를 제 파일을 가리키도록 수정했습니다.

다음과 같이:

# 파일 열고 텍스트 읽기
with open(text/ + domain + / + file, r, encoding=UTF-8) as f:
    text = f.read()

다음과 같이:

# 파일 열고 텍스트 읽기
with open(/my_location/long_text_file.txt, r, encoding=UTF-8) as f:
    text = f.read()

그리고 13단계에서 질문들을 텍스트에 대해 알고 싶던 것으로 수정했습니다.

답변 2

API를 통해 ChatGPT에 긴 텍스트 입력을 보내는 방법은 다음과 같습니다.
1. 문제 이해: ChatGPT API는 입력 텍스트를 이해하고 적절한 답변을 생성하기 위해 훈련되어 있습니다. 따라서 긴 텍스트를 전달할 때에도 입력 문장의 의도를 명확히 포함해야 합니다.
2. 분할: 긴 텍스트를 여러 문장으로 분할하여 API에 전송하는 것이 유용합니다. 이렇게 하면 ChatGPT가 더 정확하고 구체적인 답변을 생성할 수 있습니다.
3. 문장 경계: 문장 간에는 문장 분리 토큰을 삽입하여 경계를 설정해야 합니다. 이렇게 하면 모델이 문장 단위로 텍스트를 처리할 수 있습니다. 예를 들어, 문장1. 문장2.와 같이 문장 간에는 . 를 사용하여 경계를 표시합니다.
4. 전처리: 입력 텍스트를 전처리하여 적절한 형식으로 변환해야 합니다. 모든 특수 문자나 줄 바꿈 문자를 제거하거나 치환하는 것이 좋습니다.
5. 토큰 제한 고려: ChatGPT API는 단일 요청에 대해 일정 수의 토큰만 처리할 수 있습니다. 따라서 입력 텍스트가 API의 토큰 제한을 초과하지 않도록 주의해야 합니다. 토큰 수를 줄이기 위해 문장을 간결하게 작성하거나, 불필요한 세부 정보를 제거할 수 있습니다.
6. 긴 대화를 위한 적절한 콘텍스트 유지: 매 턴마다 ChatGPT에 대화의 전체 히스토리를 전달해야 합니다. 따라서 긴 대화의 경우 이전에 대화했던 모든 내용을 적절히 유지해야 합니다.
위의 지침을 따라 긴 텍스트를 ChatGPT API로 보낼 수 있습니다. 이렇게 함으로써 모델은 더 의미 있는 대답을 생성할 수 있을 것입니다. APIs를 사용하는 것은 자동으로 검색 순위와 관련이 있을 수 있으며, 이러한 가이드라인을 따라 적용하면 SEO를 목표로 하는 긴 텍스트 입력에 대해 효과적으로 대응할 수 있습니다.