OpenAI api - 비동기 API 호출

저는 OpenAI API와 함께 작업합니다. 파워포인트 프레젠테이션에서 슬라이드 텍스트를 추출하고 각 슬라이드에 대한 프롬프트를 작성했습니다. 이제 모든 슬라이드가 동시에 처리되도록 비동기 API 호출을 만들고 싶습니다.

다음은 async main 함수에서의 코드입니다:

for prompt in prompted_slides_text:
    task = asyncio.create_task(api_manager.generate_answer(prompt))
    tasks.append(task)
results = await asyncio.gather(*tasks)

그리고 generate_answer 함수는 다음과 같습니다:

@staticmethod
    async def generate_answer(prompt):
        
        OpenAI API에 프롬프트를 전송하고 답변을 받습니다.
        :param prompt: 전송할 프롬프트입니다.
        :return: 답변입니다.
        
        completion = await openai.ChatCompletion.create(
                model=gpt-3.5-turbo,
                messages=[{role: user, content: prompt}]
        )
        return completion.choices[0].message.content

문제는 다음과 같습니다:

'await' 표현식에서 OpenAIObject 객체를 사용할 수 없습니다.

그리고 generate_answer 함수에서 응답을 기다리는 방법을 모르겠습니다.

도움이 주어지면 감사하겠습니다!

답변 1

openai.ChatCompletion.acreate을 사용하여 api를 비동기적으로 사용해야합니다.

이에 대한 자세한 내용은 그들의 Github에 문서화되어 있습니다 - https://github.com/openai/openai-python#async-api

답변 2

OpenAI API – 비동기 API 호출에 대한 이해
OpenAI API는 비동기 API 호출을 통해 사용자에게 뛰어난 언어 모델을 제공합니다. 비동기 API 호출은 프로그램이 요청을 보낸 후 결과를 기다리는 동안, 다른 작업을 수행할 수 있는 기능입니다. 이 기능은 OpenAI API를 효율적으로 사용하고 더 나은 성능을 발휘하는 데에 도움을 줍니다.
흔히, API 호출은 동기식 방식을 사용하는 경우가 많습니다. 즉, 호출을 보낸 후 결과가 반환될 때까지 대기해야 합니다. 이는 호출이 많거나 복잡한 작업을 수행해야 하는 경우 성능에 영향을 미칠 수 있습니다. 예를 들어, 긴 처리 시간이 필요한 작업이 있을 경우, 호출을 기다리는 동안 다른 요청을 처리하지 못하고 대기해야 하기 때문입니다.
비동기 API 호출은 이런 문제를 해결합니다. OpenAI API를 비동기식으로 호출하면 호출을 보낸 후 결과 처리를 기다리는 동안 다른 작업을 수행할 수 있습니다. 이것은 프로그램의 반응성과 성능을 향상시키는 데 도움이 됩니다. 예를 들어, 여러 요청을 동시에 전송하여 병렬 처리할 수 있으므로, 작업 시간을 줄이고 응답 속도를 향상시킬 수 있습니다.
비동기 API 호출은 OpenAI API의 특정 요구에 맞게 효율적인 프로그래밍을 가능하게 합니다. 예를 들어, 사용자의 요구 사항에 따라 제한된 자원을 효율적으로 활용할 수 있습니다. 호출을 보낸 후 다른 작업을 수행하는 동안 고려해야 할 다른 중요한 작업이 있는 경우, 비동기 API 호출은 이러한 상황에 유용합니다.
비동기 API 호출은 OpenAI API를 더 효율적으로 사용하고, 시간을 절약하며 성능을 향상시키는 동시에 다른 작업도 수행할 수 있게 해줍니다. 따라서 비동기 API 호출은 OpenAI API를 사용하는 프로그램에 있어 중요한 요소가 되며, 사용자들에게 원활하고 효과적인 서비스를 제공할 수 있게 합니다.
여기까지 OpenAI API - 비동기 API 호출에 대한 이해라는 주제에 대해 SEO를 고려하여 작성한 한국어 글입니다. OpenAI API의 장점과 비동기 API 호출의 중요성을 이해할 수 있도록 설명했습니다.