langchain: logprobs, best_of 및 echo 매개변수는 gpt-3.5-turbo 모델에서 사용할 수 없습니다.

나는 langchain에서 이러한 매개 변수를 '해제'하는 방법을 모릅니다.

이것이 내 코드입니다:

from langchain.chains.llm import LLMChain
from langchain.llms.openai import OpenAI
from langchain.prompts.prompt import PromptTemplate
llm = OpenAI(temperature=0, engine=deployment_name)
template = 
영어를 프랑스어로 번역하는 도움이 되는 어시스턴트입니다. 이 문장을 영어에서 프랑스어로 번역하세요: {text}

prompt = PromptTemplate(input_variables=[text], template=template)
llm_chain = LLMChain(llm=llm, prompt=prompt)
response = llm_chain.generate([
        {text: I love AI},
        {text: I love the ocean},
    ])
for g in response.generations:
    print(g[0].text)

Azure에서 openAI를 사용하고 있다는 점에 유의하십시오.
또한 이 코드를 시도해 보았지만 여전히 동일한 오류가 발생합니다.

deployment_name = 내-배포-이름
from langchain.llms import AzureOpenAI
llm = AzureOpenAI(deployment_name=deployment_name )
print(llm)
llm(농담 하나 해줘)

답변 1

그래서 AzureOpenai 클래스의 확장을 만들고 해당 인수를 없애는 방법으로 결국 해결할 수 있었습니다. 작동하는 코드는 다음과 같습니다:

from langchain.llms import AzureOpenAI
from typing import List
class NewAzureOpenAI(AzureOpenAI):
    stop: List[str] = None
    @property
    def _invocation_params(self):
        params = super()._invocation_params
        # fix InvalidRequestError: logprobs, best_of and echo parameters are not available on gpt-35-turbo model.
        params.pop('logprobs', None)
        params.pop('best_of', None)
        params.pop('echo', None)
        #params['stop'] = self.stop
        return params
    
llm = NewAzureOpenAI(deployment_name=deployment_name,temperature=0.9)
llm(Tell me a joke)

사실 답은 이 링크에서 찾았고, 나에게도 작동했습니다.

답변 2

GPT-35-turbo 모델에서는 logprobs, best_of 및 echo 매개 변수를 사용할 수 없습니다.
안녕하세요! 오늘 우리는 GPT-35-turbo 모델에서 logprobs, best_of 및 echo 매개 변수를 사용할 수 없다는 주제에 대해 이야기해보려고 합니다. 이는 개발자 및 사용자들에게 중요한 사항이기 때문에 이에 대한 이해가 필요합니다. 읽으면서 이 주제에 대해 자세히 알아보도록 하겠습니다.
GPT-35-turbo 모델은 OpenAI가 개발한 획기적인 언어 모델 중 하나입니다. 이 모델은 사용자들에게 다양한 작업에 도움을 줄 수 있는 AI 기능을 제공합니다. 그러나 몇 가지 제한 사항이 있으며, 그 중 하나가 logprobs, best_of 및 echo 매개 변수를 사용할 수 없다는 점입니다.
첫째로, logprobs 매개 변수는 모델이 단어 선택을 함에 있어 얼마나 자신감 있는지에 대한 정보를 제공하는 데 사용됩니다. 일반적으로 이 매개 변수는 개발자가 모델 출력을 이해하고 해석할 수 있도록 도와줍니다. 그러나 GPT-35-turbo 모델은 이러한 기능을 지원하지 않기 때문에 관련된 정보를 얻을 수 없습니다.
둘째로, best_of 매개 변수는 모델이 생성할 문장 예측 중 가장 좋은 것을 선택하는 데 사용됩니다. 이를 통해 사용자가 모델의 출력 품질을 향상시킬 수 있습니다. 그러나 GPT-35-turbo 모델은 best_of 매개 변수를 허용하지 않으므로, 단일 예측 결과만을 얻을 수 있습니다. 이는 모델의 예측 정확도가 향상될 가능성을 제한합니다.
마지막으로, echo 매개 변수는 사용자 입력을 모델 출력에 반복하여 포함시킵니다. 이를 통해 모델이 이전에 생성한 문장을 인식하고 다음 출력에 반영할 수 있습니다. 그러나 GPT-35-turbo 모델은 이러한 매개 변수를 지원하지 않으므로, 출력이 이전 입력과 관련이 없을 수 있습니다.
결론적으로, GPT-35-turbo 모델은 logprobs, best_of 및 echo 매개 변수를 사용할 수 없습니다. 이러한 제한 사항은 사용자가 모델의 출력을 형식화하거나 개선하는 데 제한이 있을 수 있음을 의미합니다. 그러나 여전히 탁월한 언어 생성 능력을 가진 이 모델을 사용하여 다양한 작업에 도움을 받을 수 있습니다. 따라서 GPT-35-turbo 모델을 활용할 때는 이러한 제한 사항을 염두에 두시기 바랍니다.
이 글은 GPT-35-turbo 모델에서 logprobs, best_of 및 echo 매개 변수를 사용할 수 없음을 강조하는 데 중점을 두고 작성되었습니다. 이는 모델의 가능성과 제한 사항에 대한 명확한 이해를 제공하기 위한 것입니다. GPT-35-turbo 모델을 사용하는 개발자 및 사용자들에게 유용한 정보를 제공하기 위해 SEO에 신경을 써서 작문한 것입니다.
간단히 말하자면, GPT-35-turbo 모델은 logprobs, best_of 및 echo 매개 변수를 사용할 수 없습니다. 이러한 제한 사항에도 불구하고 이 모델은 여전히 우수한 언어 생성 능력을 가지고 있으며, 사용자들에게 다양한 작업에서 도움을 줄 수 있습니다. 이러한 사실을 염두에 두고 GPT-35-turbo 모델을 사용하시기 바랍니다.