모델로 애플리케이션 버전 추적하기

Model은 데이터(설정, 트레이닝된 모델 가중치, 기타 정보 등을 포함할 수 있음)와 모델의 동작 방식을 정의하는 코드가 결합된 것입니다. 코드를 이 API와 호환되도록 구조화하면 애플리케이션을 체계적으로 버전 관리할 수 있으므로, 실험을 더 일관되게 추적할 수 있습니다. 이 가이드에서는 Weave Model을 정의하고, 이를 호출해 입력과 출력을 캡처하고, 코드나 매개변수가 변경될 때 자동 버전 관리를 활용하고, 로컬 API 뒤에서 모델을 서빙하고, 필터링할 수 있도록 프로덕션 Call에 태그를 지정하는 방법을 설명합니다. 이 가이드는 Weave로 LLM 기반 애플리케이션을 구축하며, 앱의 반복 버전을 추적하고 비교할 수 있는 재현 가능한 방법을 원하는 개발자를 위한 것입니다.

Python
TypeScript

Weave에서 모델을 만들려면 다음이 필요합니다.

weave.Model을 상속하는 클래스
모든 매개변수의 유형 정의
@weave.op() 데코레이터가 적용된 유형 지정 predict 함수

from weave import Model
import weave

class YourModel(Model):
    attribute1: str
    attribute2: int

    @weave.op()
    def predict(self, input_data: str) -> dict:
        # 여기에 모델 로직이 들어갑니다
        prediction = self.attribute1 + ' ' + input_data
        return {'pred': prediction}

다음과 같이 평소처럼 모델을 호출할 수 있습니다.

import weave
weave.init('intro-example')

model = YourModel(attribute1='hello', attribute2=5)
model.predict('world')

이렇게 하면 predict()를 호출할 때마다 모델 설정이 입력 및 출력과 함께 추적됩니다. 이제 모델이 수행하는 모든 예측을 기록하는 버전 관리된 Weave Model이 준비되었으며, 다음 섹션에서는 이를 바탕으로 설명합니다.

모델 자동 버전 관리

모델을 정의하는 매개변수나 코드를 변경하면 Weave가 이러한 변경 사항을 로그로 기록하고 버전을 업데이트합니다. 그러면 모델 버전별 예측을 비교할 수 있습니다. 프롬프트를 반복 개선하거나 다른 LLM을 사용해 보고, 설정별 예측을 비교할 때 활용하세요.예를 들어, 여기서는 새 모델을 만듭니다.

import weave
weave.init('intro-example')

model = YourModel(attribute1='howdy', attribute2=10)
model.predict('world')

이렇게 호출하고 나면 UI에서 이 모델의 두 가지 버전을 확인할 수 있으며, 각 버전에는 서로 다른 추적된 Call이 기록됩니다.

모델 서빙

모델을 서빙하면 predict 함수를 HTTP로 노출할 수 있으므로, 기본 코드를 배포하지 않고도 다른 애플리케이션에서 테스트하거나 팀원과 공유할 때 유용합니다. Weave 모델용 FastAPI 서버를 시작하려면 [MODEL-REF]를 모델 레퍼런스로 바꾸고 다음 명령을 실행하세요.

weave serve [MODEL-REF]

추가 지침은 serve를 참조하세요.

프로덕션 Call 추적

모델을 둘 이상의 환경에서 사용하기 시작하면 프로덕션 트래픽을 개발 또는 evaluation run과 구분해 두는 것이 도움이 됩니다. 그러면 각각을 별도로 분석할 수 있습니다. 프로덕션 Call을 분리하려면 UI 또는 API에서 필터링할 수 있도록 예측에 속성을 추가하세요.

with weave.attributes({'env': 'production'}):
    model.predict('world')

이 기능은 아직 TypeScript에서 사용할 수 없습니다.

시작하기

가이드

쿡북

레퍼런스

세부 정보 및 지원

모델 자동 버전 관리

모델 서빙

프로덕션 Call 추적

​모델 자동 버전 관리

​모델 서빙

​프로덕션 Call 추적

모델 자동 버전 관리

모델 서빙

프로덕션 Call 추적