Note
Foundry IQ (Azure AI 검색)는 관리형 검색을 위한 상위 수준의 지식 원본 및 지식 베이스 API와 함께 직접 인덱싱 및 쿼리 API를 제공합니다. Azure 포털, REST API 또는 Azure SDK 사용하여 이러한 기능을 구성하거나 Microsoft Foundry 포털의 기술 자료에 에이전트를 연결합니다.
임베딩 모델 마이그레이션은 Foundry IQ (Azure AI 검색) 애플리케이션이 문서와 쿼리를 벡터로 표현하는 방식을 변경합니다. 모델이 사용 중지되거나 관련성, 언어 검사, 대기 시간, 처리량, 비용 또는 데이터 상주에 대한 요구 사항이 변경되기 때문에 마이그레이션할 수 있습니다. 최신 모델이 더 낫다고 가정하기보다는 워크로드에 대해 대체 모델을 평가하세요.
이 가이드는 마이그레이션 방법을 선택하고, 임베딩을 다시 생성하고, 결과의 유효성을 검사하고, 프로덕션 트래픽을 전환하는 데 도움이 됩니다. 대부분의 프로덕션 마이그레이션의 경우 기존 인덱스를 유지하면서 별도의 대상 인덱스를 빌드하고 테스트합니다. 원본 데이터, 새로 고침 요구 사항, 사용 가능한 용량 및 중단 허용 오차는 대상 인덱스를 채우고 그 인덱스로 전환하는 방법을 결정합니다.
Prerequisites
- 인덱스 스키마, 수집 구성 및 쿼리 구성에 대한 액세스를 포함하는 기존 벡터 또는 하이브리드 검색 애플리케이션
- 다시 처리할 수 있는 신뢰할 수 있는 원본 데이터 또는 마이그레이션에 필요한 인덱싱된 콘텐츠의 전체 내보내기
- 확인된 문서 및 쿼리 인터페이스를 사용한 대체 임베딩 모델 배포입니다. Microsoft Foundry의 모델의 경우 현재 사용 중지 일정을 검토합니다.
- 인덱스를 관리하고 문서를 읽거나 쓸 수 있는 권한과 대체 모델 또는 사용자 지정 엔드포인트를 호출할 수 있는 권한
- 임시 중복 인덱스 또는 벡터 필드를 포함하여 마이그레이션 워크로드에 대한 검색 용량 및 모델 할당량.
- 대표 평가 쿼리, 예상 액세스 결정 및 비즈니스 승인 조건
- 동시 원본 변경, 전환 및 롤백에 대한 계획입니다.
마이그레이션 방법 선택
먼저 대체 벡터를 저장할 위치와 임베드할 콘텐츠를 가져올 위치를 결정합니다.
| Approach | 시기 선택 | 요구 사항 및 장단점 | 비용 고려 사항 |
|---|---|---|---|
| 원본 데이터에서 별도의 인덱스를 다시 빌드 | 기본 제공 인덱서를 사용하거나 원본 재생 또는 새 청크/보강이 필요합니다. | 인덱서 파이프라인에 대한 새 인덱스 및 인덱서; 독립적인 유효성 검사 및 소스 변경 캐치업. | 전체 코퍼스 임베딩, 소스 읽기 작업, 적용 가능한 유료 보강 및 중복 인덱스 용량 |
| 내보낸 인덱스 콘텐츠를 별도의 인덱스에 다시 임베딩 | 푸시 수집을 관리하고 적절한 전체 텍스트 또는 청크를 내보낼 수 있습니다. | 스키마 자격 및 내보내기 일관성을 확인합니다. 샘플에는 백업 중에 쓰기 중지가 필요합니다. | 대체 임베딩, 스토리지 내보내기, 어댑터 호스팅 및 중복 인덱스 용량 |
| 기존 인덱스로 두 번째 벡터 필드 추가 | 푸시 수집을 관리하고 이전 벡터를 유지하면서 콘텐츠를 공유하려고 합니다. | 새 필드/프로필, 제한된 백필 및 조정된 작성자입니다. 두 번째 필드 절차를 참조하세요. | 대체 임베딩, 중복 벡터, 백필 쓰기 및 가능한 스케일 아웃. 이중 쓰기는 진행 중인 임베딩 작업을 추가합니다. |
| 기존 필드의 벡터 바꾸기 | 푸시 수집을 관리하고 제어된 중단을 허용합니다. 프로덕션 기본값이 아닙니다. | 호환되는 필드 정의 및 조정된 리더/라이터. 혼합된 임베딩 공간을 분리하고 복구 데이터를 유지합니다. | 대체 임베딩 및 쓰기, 복구 아티팩트, 복원 또는 재임베딩 |
별도의 인덱스 프로시저에 처음 두 가지 방법을 사용하거나 현재 위치 마이그레이션에 대한 두 번째 필드 프로시저를 따릅니다. 기존 필드를 덮어쓰려면 별도의 애플리케이션별 복구 계획이 필요합니다. 지원되는 스키마 변경 내용은 인덱스 업데이트 또는 다시 작성을, 현재 및 예정된 샘플 범위는 샘플 워크플로를 참조하세요.
Foundry IQ 기본 제공 인덱서가 인덱스를 채우는 경우 신뢰할 수 있는 원본 데이터에서 다시 빌드를 사용합니다. 이 마이그레이션 경로를 사용하려면 새 인덱서로 전체 원본을 새 인덱스로 다시 빌드해야 합니다. 이 가이드의 내보내기 및 동일한 인덱스 대안은 기존 인덱서 파이프라인의 제자리 마이그레이션이 아니라 애플리케이션 관리 푸시 수집을 위한 것입니다.
동일한 백업 및 복원은 복구를 미리 연습하는 데 도움이 될 수 있지만, 임베딩 모델을 마이그레이션하지는 않습니다. 기존 벡터만 복사합니다.
동시 변경 내용을 처리하는 방법 선택
별도로 대체 임베딩을 생성하는 동안 콘텐츠를 최신 상태로 유지하는 방법을 결정합니다.
| Strategy | 시기 선택 | 필수 컨트롤 | 비용 고려 사항 |
|---|---|---|---|
| 쓰기 일시 중지 | 유지 관리 기간 또는 지연된 새로 고침이 허용됩니다. | 적용 가능한 인덱서, 푸시 라이터, 업데이트, 삭제 및 스키마 변경 내용을 중지합니다. 정상 작업을 다시 시작하기 전에 업스트림 변경 내용을 고려합니다. | 일시 중지하는 동안 이전/새 세대가 동시에 발생하지 않도록 하되, 캐치업 처리와 신선도 지연이 비즈니스에 미치는 영향은 감안하세요. |
| 일관된 소스 스냅샷에서 빌드하고 변경 사항을 재생합니다 | 짧은 전환 창이 필요하고 내구성 있는 변경 스트림이 있습니다. | 시작 워터마크를 추적하고 재생 생성, 업데이트, 삭제 및 권한 변경을 재생합니다. 컷오버 전에 대상을 조정합니다. | 스냅샷 스토리지, 변경 캡처, 재생 및 정합. 반복된 변경에는 추가 임베딩이 필요할 수 있습니다. |
| 이전 및 새 수집 경로 유지 관리 | 지속적인 새로 고침은 추가 엔지니어링 및 용량을 정당화합니다. | 두 인덱스 또는 두 필드 모두에 대한 모델별 벡터를 생성합니다. 동일한 문서에 쓰기를 조정하고 재시도, 부분 오류, 삭제 및 권한 변경을 처리합니다. | 두 모델 모두 적용 가능한 변경 내용을 처리합니다. 추가 쓰기, 재시도, 보존된 용량 및 정합성 확인 작업을 포함합니다. |
이러한 선택은 자동 마이그레이션 기능이 아닌 수집 아키텍처 선택 사항입니다. 검색 내보내기가 트랜잭션 스냅샷이 아니며 마이그레이션 샘플은 동시 변경 내용을 캡처하고 재생하지 않습니다. 두 인덱스에 쓰는 것은 원자성 작업이 아닙니다.
하나의 인덱스에 있는 두 필드의 경우 이중 쓰기는 변경된 각 문서에 대해 두 임베딩을 모두 최신 상태로 유지하는 것을 의미합니다. 전체 모음을 반복적으로 포함할 필요는 없습니다. 진행률 및 일관성 컨트롤과 함께 제한된 백필을 사용합니다.
기본 제공 인덱서의 경우 병렬 인제스트는 새 인덱서가 원본에서 새 인덱스를 채우는 동안 이전 파이프라인을 유지하는 것을 의미합니다. 기존 인덱서를 통해 두 번째 필드를 백필하는 것을 의미하지는 않습니다.
이전 인덱스에 대해 쿼리를 온라인 상태로 유지하는 것이 반드시 해당 인덱스를 최신 상태로 유지하는 것은 아닙니다. 가용성 요구 사항과 허용되는 데이터 지연을 모두 정의합니다.
마이그레이션 비용 예측
일회성 백필 비용, 임시 중복 비용 및 안정적인 상태 운영 비용을 구분합니다. 항상 가장 저렴한 방법은 없습니다. 한 인덱스에 텍스트와 메타데이터를 공유하면 중복이 줄어들지만 두 벡터 필드는 여전히 벡터 용량을 사용합니다.
- 현재 프로덕션 기준선 및 예상 마이그레이션 및 롤백 기간을 설정합니다. 기존 애플리케이션에 대해 이미 발생하는 비용과 추가 마이그레이션 지출을 구분합니다.
- 전체 코퍼스를 추정하기 전에 대표 파일럿을 측정합니다. 원본 볼륨, 생성된 청크, 공급자 청구 임베딩 사용량, 재시도, 인덱스 크기 및 경과 처리 시간을 기록합니다. 실제 공급자의 청구 단위를 사용합니다. 모든 모델이 토큰별로 청구된다고 가정하지 마세요.
- 초기 재구축 또는 백필을 예측합니다. 대체 임베딩, 원본 읽기 또는 내보내기, 적용 가능한 구문 분석 및 유료 보강, 아티팩트 스토리지, 어댑터 호스팅 및 데이터 전송을 포함합니다. 새 인덱서의 경우 이전 보강 캐시가 해당 작업을 없애 준다고 가정하기보다는 전체 원본 로드에 대한 예산을 잡으세요. 실패한 처리 또는 반복된 처리는 여전히 요금이 발생할 수 있습니다.
- 임시 중복 및 유효성 검사를 추정합니다. 추가 검색 용량, 변경된 콘텐츠에 대한 이전/새 수집, 캐시 누락 및 준비, 평가 쿼리, 적용 가능한 프리미엄 쿼리 기능 및 롤백 보존을 포함합니다. 재시도 및 조정을 허용합니다. 스로틀링은 겹치는 기간 및 시간 기반 리소스 비용을 연장할 수 있습니다.
- 전환 후 안정적인 상태 비용을 예측합니다. 대체 모델의 문서 및 쿼리 임베딩 사용량, 검색 용량, 벡터 스토리지 및 어댑터 비용을 기준과 비교합니다. 수락 및 롤백 기간 후에만 이전 리소스를 사용 중지합니다.
청구 모델을 올바르게 적용:
- 전용 검색: 요금은 프로비전된 용량 및 보존 기간에 따라 달라집니다. 두 번째 인덱스 또는 벡터 필드는 자동으로 검색 청구서를 두 배로 늘리거나 인덱스당, 필드당 또는 쓰기당 요금을 추가하지 않습니다. 기존 용량으로 피크 워크로드를 처리할 수 있는지 확인합니다. 복제본, 파티션 또는 추가 서비스를 늘리면 비용이 증가할 수 있습니다. 모델 호출 및 기타 청구 가능 서비스는 별도로 유지됩니다.
- 지원되는 서버리스 검색: 컴퓨팅 및 인덱싱된 스토리지는 사용 요금이 청구됩니다. 저장된 벡터뿐만 아니라 인덱싱 및 쿼리 작업을 포함합니다. 모든 마이그레이션 시나리오에 대한 지원을 가정하지 않고 현재 계층 제한 및 네트워킹 제한을 확인합니다.
검색 비용 지침, 용량 계획 및 현재 Foundry IQ 가격을 사용합니다. 선택한 배포의 가격 정보에서 모델 요금을 가져옵니다. 예산 및 경고를 설정하고, 마이그레이션 중에 실제 사용량을 모니터링하고, 워크로드를 확장하기 전에 예기치 않은 재처리를 조사합니다.
이전 벡터를 삭제한 후 워크로드 요구 사항을 충족하는 동안 복제본 또는 파티션을 줄일 수 있는지 확인합니다. 스토리지 정리만으로는 전용 검색 요금이 낮아지지 않습니다. 마이그레이션 후 예산에 남아 있는 아티팩트 또는 캐시 보관 비용을 포함합니다.
대체 임베딩 규약 정의
각 벡터 필드에 대해 인덱싱 및 쿼리에서 함께 사용해야 하는 설정을 문서화합니다.
- 모델 ID, 버전, 배포, 엔드포인트 및 API 계약.
- 출력 차원 및 적절한 유사도 지표.
- 입력 전처리, 청크 분할, 잘림 및 정규화
- 필요한 경우 공급자별 문서 및 쿼리 작업 설정입니다.
- 인증, 네트워크 액세스 및 지역 가용성.
벡터라이저 또는 배포 이름을 변경해도 인덱싱된 벡터가 다시 생성되지 않습니다. 임베딩 공간을 변경하려면 의도한 텍스트, 이미지 또는 기타 원본 입력에서 문서 임베딩을 다시 생성합니다. 동일한 벡터 차원이 모델 간의 호환성을 보장하지는 않습니다.
각 벡터 필드를 쿼리 벡터를 생성하는 데 사용되는 모델과 호환되도록 유지합니다. 다른 모델은 별도의 필드 또는 인덱스에 공존할 수 있습니다. 통합 벡터화의 경우 지원되는 스킬 및 벡터라이저 쌍을 선택합니다. 교체에 사용자 지정 어댑터가 필요한 경우 인덱싱 스킬과 쿼리 벡터라이저 계약의 유효성을 모두 검사합니다.
청크 분할도 변경하는 경우 가능한 경우 해당 변경 내용을 별도로 비교하여 모델 변경과 그 효과를 구분할 수 있습니다. 이전 모델에 대해 조정된 설정이 여전히 적절하다고 가정하지 않고 압축 및 유사성 설정을 검토합니다.
마이그레이션 시 캐시 처리
수집 및 쿼리 경로의 캐시를 파악합니다. 모델, 벡터 필드 또는 인덱스 별칭을 전환해도 애플리케이션 관리 캐시가 자동으로 무효화되지는 않습니다.
- 인덱서 보강 캐시(미리 보기): 이 캐시는 애플리케이션 쿼리 경로가 아니라 인덱서에 속합니다. 새 인덱서로 전송할 수 있다고 가정하지 마세요. 재처리 고려 사항을 따르세요. 캐시된 이전 모델 벡터는 새 임베딩을 생성하는 것을 대체하지 않습니다.
- 애플리케이션 관리 문서 임베딩: 입력 콘텐츠 및 임베딩 계약이 일치하는 경우에만 항목을 다시 사용합니다. 캐시 키에 원본 수정 버전 또는 콘텐츠 해시 및 계약 버전을 포함합니다. 변경된 청크 또는 전처리는 이전에 캐시된 임베딩을 무효화할 수 있습니다.
- 애플리케이션 관리 쿼리 임베딩: 쿼리 입력 및 임베딩 계약을 기준으로 키를 지정하며, 쿼리 텍스트만 사용하는 것이 아닙니다. 배포 이름 또는 엔드포인트는 모델이 변경되는 동안 변경되지 않은 상태로 유지될 수 있습니다. 문서 및 쿼리 작업 설정은 공급자가 요구하는 경우 구분하여 유지합니다.
- 애플리케이션 관리 검색 결과 또는 답변: 대상 인덱스 생성, 벡터 필드, 쿼리 구성, 필터 및 권한 부여 컨텍스트를 고려합니다. 원본 콘텐츠 또는 사용 권한이 변경되면 영향을 받는 항목을 무효화합니다. 요청자의 현재 액세스가 계속 유효한 경우가 아니면 캐시된 콘텐츠를 제공하지 마세요.
모델 ID/버전, 차원, 작업 설정 및 전처리를 포함하는 명시적 임베딩 계약 버전을 사용합니다. 중복 운영 및 롤백 중에는 이전 및 새 애플리케이션 캐시 네임스페이스를 별도로 유지합니다.
감지 가능한 기술 세트 변경 없이 사용자 지정 기술 엔드포인트 뒤에서 모델이 변경되는 경우 캐시된 출력은 오래된 상태로 유지될 수 있습니다. 영향을 받는 skill 및 해당 종속성에 대해 문서화된 skill 무효화 및 재처리 절차를 따릅니다. 이 절차는 인덱서 마이그레이션 경로에 필요한 new-indexer 소스 재구축을 대체하지 않습니다.
캐시 스토리지, 누락 시 교체 모델 호출, 그리고 워밍업 트래픽에 대한 예산을 책정하세요. 컷오버 전에 콜드 및 웜 경로를 모두 테스트합니다. 웜 캐시는 호환되지 않는 모델, 부실 문서 또는 잘못된 액세스 결정을 숨겨서는 안 됩니다.
Cohere Embed v3 지원 종료 계획
Foundry 모델 사용 중단 일정에는 Cohere-embed-v3-english 및 Cohere-embed-v3-multilingual의 사용 중단 날짜가 2026년 11월 15일로 나와 있습니다. 두 모델 모두 2027년 2월 15일에 사용 중지됩니다. 나열된 대체 항목은 다음과 같습니다 Cohere-embed-v5-fastCohere-embed-v5-pro. 마이그레이션을 계획할 때 업데이트 일정을 확인합니다.
사용 중지 전에 마이그레이션을 완료하고 테스트하여 이전 모델을 사용할 수 있는 동안 오류를 해결하고 롤백을 연습할 시간을 허용합니다.
- 클라이언트 측 쿼리 임베딩 생성을 포함하여 사용 중지 모델 중 하나를 사용하는 수집 파이프라인 및 쿼리 경로를 식별합니다.
- 대표 쿼리 및 품질, 대기 시간, 처리량, 언어 및 비용 요구 사항에 대해 대체 모델을 평가합니다. Microsoft Foundry에서 선택한 대체 모델을 배포하고 해당 문서 및 쿼리 인터페이스와 출력 차원을 확인합니다.
- 마이그레이션 방법을 선택합니다. 기본 제공 인덱서 파이프라인에는 새 인덱스와 인덱서를 사용해 소스 데이터 전체를 다시 구축해야 합니다. 푸시 수집의 경우 별도의 대상 인덱스를 선호하거나 일관성 컨트롤이 있는 두 번째 필드를 추가합니다. 문서 벡터를 다시 생성하고 v3 벡터는 복사하지 말고 쿼리 모델만 변경하세요.
-
Python 또는 .NET 샘플을 사용한 푸시 수집의 경우 선택한
fast또는pro모델 및 인증된 embedding 함수를 구성합니다. 이러한 샘플은 사용자 지정 Web API 벡터라이저를 사용합니다. Foundry에 나열된 대체 항목은 기존 네이티브 Search 기술 또는 벡터라이저를 지원하지 않습니다. - 데이터, 액세스 및 검색 테스트를 완료한 다음 트래픽을 전환합니다. 진행 중인 수집 및 쿼리 임베딩 생성을 함께 업데이트합니다.
v5 변형 선택
모델 이름만이 아니라 테스트하는 워크로드를 기준으로 변형을 선택하세요. 기능 및 워크로드 지침은 Microsoft Foundry의 Cohere Embed V5를 참조하세요.
| Variant | 워크로드 우선 순위 | 배포 이름 예시 |
|---|---|---|
| Embed v5 Fast | 대기 시간에 민감한 대화형 검색 및 응답성 에이전트 환경. | cohere-embed-v5-fast-sls |
| Embed v5 Pro | 가장 관련성이 큰 정보를 찾는 것이 우선 순위인 애플리케이션에 대한 검색 품질입니다. | cohere-embed-v5-pro-sls |
Fast와 Pro는 임베딩 공간을 공유하지만 해당 호환성은 기존 v3 벡터에는 확장되지 않습니다. v5 마이그레이션을 위해 v3 문서 임베딩을 다시 생성합니다. 선택한 구성에 대한 차원, 문서/쿼리 작업 설정, 관련성, 대기 시간 및 비용의 유효성을 검사합니다.
Cohere 공급자 엔드포인트 호출
직접 Cohere 임베딩 요청은 다음 엔드포인트 패턴을 사용합니다: POST https://<foundry-resource>.services.ai.azure.com/providers/cohere/v2/embed.
<foundry-resource>를 당신의 Foundry 리소스 이름으로 대체합니다. 요청의 model 값을 배포된 모델의 배포 이름(예: cohere-embed-v5-pro-sls 또는 cohere-embed-v5-fast-sls)으로 설정합니다. 두 변형 모두 동일한 공급자 경로를 사용합니다. 앞의 표에 있는 이름은 필수 배포 이름이 아니라 예제입니다.
요청 페이로드, API 버전 및 인증 구성은 마이그레이션 샘플을 따르세요. 인덱싱할 때 문서 작업과 쿼리 벡터를 생성할 때 쿼리 작업을 사용합니다.
이 공급자 엔드포인트는 Search Custom Web API 벡터라이저 엔드포인트가 아닙니다. 샘플 워크플로에서 벡터라이저가 인증된 함수의 쿼리 경로를 가리키도록 유지합니다. 함수는 검색 요청을 Cohere 공급자 요청에 맞게 조정합니다.
대상 및 원본 데이터를 준비합니다
마이그레이션을 시작하기 전에 구성 및 일관성 컨트롤을 준비합니다.
- 인덱스 필드, 문서 키, 부모-자식 관계, 벡터 프로필, 압축, 분석기, 의미 체계 구성 및 점수 매기기 프로필을 목록으로 작성하세요. 애플리케이션, 인덱서, 지식 원본 및 이들에 의존하는 기타 소비자를 식별합니다.
- 원본 및 대상 인덱스 또는 벡터 필드 이름, 계약 포함, 예상된 스키마 변경, 동기화 전략 및 수용 조건을 사용하여 마이그레이션 레코드를 만듭니다.
- 대상 권한 부여 및 네트워크 액세스를 구성합니다. 마이그레이션 연산자, 임베딩 엔드포인트를 호출하는 검색 ID 및 모델을 호출하는 모든 중간 ID를 구분합니다. 로컬 모델 호출이 성공한다고 해서 Search에 액세스 권한이 있음을 증명하지는 않습니다.
- 마이그레이션에 대해 선택된 쓰기 고정, 원본 스냅샷 또는 변경 재생 경계를 설정합니다.
- 대상 스키마를 정의합니다. 별도의 인덱스 마이그레이션의 경우 새 인덱스 이름을 예약하고 선택한 워크플로를 통해 만듭니다. 샘플의 내보내기 및 복원 워크플로의 경우 대상이 존재하지 않는 상태로 둡니다. 복원은 대상을 생성하며, 기존 인덱스가 이미 있으면 덮어쓰기를 거부합니다. 두 번째 필드 마이그레이션의 경우 기존 스키마에 대한 추가를 대신 계획합니다.
별도의 검토된 가용성 및 복구 계획 없이 공간을 만들기 위해 프로덕션 인덱스 삭제하지 마세요. 원본 콘텐츠에 적합한 액세스 제어 및 보존 정책을 사용하여 내보낸 문서 및 마이그레이션 아티팩트를 보호하십시오. 소스 리포지토리에 커밋하지 마세요.
GET 또는 LIST에서 반환된 인덱스 정의는 자격 증명 백업이 아닙니다. 필요한 종속성을 다시 만들고 대상 인증을 명시적으로 제공합니다. 인덱스 관리 작업은 검색 인덱스 관리를 참조하세요.
문서 ID 및 액세스 제어 유지
문서 식별 정보와 관련 콘텐츠, 메타데이터 및 사용 권한을 함께 유지합니다. 청크 또는 키 생성이 변경되는 경우 새로 쓴다고 해서 제거된다고 가정하지 말고 오래된 부모 및 자식 레코드를 고려합니다.
보호된 콘텐츠의 경우 사용 권한을 제공하는 지원되는 커넥터 또는 신뢰할 수 있는 수집 흐름을 유지합니다. 사용 권한과 유사한 이름으로 필드를 복사해도 커넥터에서 파생된 권한 유래 정보가 다시 만들어지지는 않습니다. 내보내기 및 푸시 마이그레이션을 선택하기 전에 문서 수준 액세스 흐름 의 요구 사항을 확인합니다.
일반 마이그레이션 샘플이 모든 권한이 설정된 또는 생성된 기술 자료 인덱스를 지원한다고 가정하지 마세요. 지원되는 완전한 전송을 설정할 수 없는 경우 적절한 원본 수집 흐름을 통해 다시 빌드합니다. 대상을 애플리케이션에 노출하기 전에 실제 액세스 권한을 확인합니다.
내보내기 자격 확인
신뢰할 수 있는 원본 데이터 대신 기존 인덱스에서 마이그레이션하는 경우 문서를 다시 만드는 데 필요한 모든 필드를 확인하세요.
- 필요한 콘텐츠를 검색할 수 있어야 합니다. 인덱스 내보내기가 읽을 수 없는 원본 텍스트 또는 메타데이터를 복구할 수 없습니다.
- 문서 검색을 통해
stored: false가 있는 벡터를 복구할 수 없습니다.retrievable를 변경해도 내보낼 수 있게 되지는 않습니다. - 샘플의 페이징 요구 사항은 키 필드 및 코퍼스 크기와 일치해야 합니다. Python 및 .NET에는 동일한 페이징 자격 규칙이 없습니다.
- 내보내기에는 제한된 쿼리 자격 증명으로 볼 수 있는 문서만이 아니라, 의도된 전체 문서 집합이 포함되어야 합니다.
저장된 콘텐츠가 있는 필드의 경우 검색 가능 여부 변경이 지원될 수 있지만, 이로 인해 쿼리가 반환할 수 있는 내용도 달라집니다. 단지 샘플에 맞추려고 민감한 필드를 광범위하게 노출하지 마세요.
와 retrievable의 차이점은 stored을 참조하세요.
대체 임베딩 생성 및 로드
선택한 접근 방식에 대한 절차를 따릅니다. 대체가 유효성 검사를 통과할 때까지 기존 인덱스 및 이전 벡터 필드에 대한 프로덕션 읽기를 유지합니다. 대체 임베딩 계약에 맞게 구성된 수집 경로만 대체 벡터를 기록해야 합니다.
신뢰할 수 있는 원본 데이터에서 다시 빌드
Foundry IQ 기본 제공 인덱서에 이 프로세스를 사용합니다. 원본 데이터 및 메타데이터를 재생할 수 있거나 구문 분석, 청크 또는 보강을 변경해야 하는 경우 애플리케이션 관리 수집에도 사용합니다.
인덱서 기반 마이그레이션의 경우 기존 벡터라이저 또는 모델 배포를 변경해도 대체 임베딩이 백필되지 않습니다. 전체 원본 모음을 처리하는 새 파이프라인을 만듭니다. 대체가 유효성 검사를 통과할 때까지 기존 인덱스 및 파이프라인을 사용할 수 있도록 유지합니다.
대체 모델에 지원되는 기본 제공 포함 기술 및 벡터라이저 쌍이 없는 경우 기본 제공 인덱서를 유지하고 새 파이프라인에 사용자 지정 통합을 추가합니다.
- 인덱싱:새 기술 세트에 사용자 지정 Web API 기술을 추가합니다. 해당 엔드포인트는 대체 모델을 사용하여 문서 임베딩을 생성합니다. 출력 필드 매핑 또는 인덱스 프로젝션을 통해 출력을 새 벡터 필드에 적절하게 매핑합니다.
- 쿼리: 새 인덱스에서 사용자 지정 Web API 벡터라이저 를 구성하고 벡터 필드의 프로필을 통해 참조합니다. 해당 엔드포인트는 텍스트 벡터 쿼리에 대해 호환되는 쿼리 임베딩을 생성합니다. 애플리케이션이 쿼리 벡터를 직접 보내는 경우 해당 임베딩 생성기를 대신 업데이트합니다.
스킬 및 벡터라이저 요청 및 응답 계약을 충족하는 어댑터 엔드포인트를 구현합니다. 필요한 검색 계약을 구현하는 API가 아닌 한, 두 구성 요소 중 어느 것도 원시 모델 API를 가리키지 마세요. 적절한 문서 및 쿼리 작업 설정과 함께 두 경로에 대해 동일한 대체 임베딩 계약을 사용합니다.
검색-어댑터 및 어댑터-모델 호출에 대해 인증 및 네트워크 액세스를 별도로 구성합니다. 전체 로드를 시작하기 전에 검색에서 사용하는 실제 ID를 통해 문서 임베딩 생성 및 쿼리 벡터화의 유효성을 검사합니다.
- 대체 벡터 필드 및 프로필을 사용하여 새 대상 인덱스 만들기 기존 인덱스에 대한 프로덕션 쿼리를 유지합니다.
- 기술 세트에 포함이 생성되는 경우 대체 모델에 대한 별도의 기술 세트를 만들고 인덱스 프로젝션 대상을 검토합니다. 이전 파이프라인을 새 모델로 전환하는 방식으로 공유 프로덕션 기술 세트를 변경하지 마세요.
- 대체 계약(인터페이스/계약)을 사용하여 문서 임베딩 생성 및 쿼리 벡터화를 구성합니다. 원본 사용 권한을 해당 문서 및 청크와 연결된 상태로 유지합니다. 인덱서 기반 통합 벡터화의 경우 통합 벡터화 설정을 따릅니다. 애플리케이션에서 생성된 벡터의 경우 임베딩 생성을 따릅니다.
- 기본 제공 인덱서의 경우 원본 연결, 새 대상 인덱스, 해당하는 대체 기술 세트 및 필드/출력 매핑을 사용하여 새 인덱서를 만듭니 다. 설치하는 동안
disabled를true로 설정하세요. 그렇지 않으면 생성이 즉시 실행을 시작합니다. - 전체 부하를 시작하기 전에 대표 테스트 부하의 유효성을 검사합니다. 기본 제공 인덱서의 경우 원본 범위가 제한된 별도의 테스트 파이프라인을 사용합니다. 전체 로드 준비가 될 때까지 전체 원본 마이그레이션 인덱서가 비활성화된 상태로 유지합니다.
- 새 파이프라인을 통해 전체 코퍼스를 처리합니다. 기본 제공 인덱서의 경우 재처리를 계획하고, 마이그레이션 인덱서를 사용하도록 설정하고 실행하고, 실행 기록, 오류 및 경고를 모니터링합니다. 푸시 수집을 위해 문서별 인덱싱 결과를 검사합니다. 로드 완료를 선언하기 전에 오류를 해결합니다.
- 삭제 및 권한 변경을 포함하여 동기화 계획에 따라 필요한 원본 변경 내용을 적용합니다.
대상은 의도한 코퍼스가 로드되고 합의된 동기화 지점을 통한 변경 내용이 고려될 때 인수 테스트할 준비가 되었습니다.
인덱서 재처리 계획
원본 전체 재구축은 문서를 새 인덱스로 복사하는 것 이상입니다. 중단된 실행에서 초기 처리 작업, 후속 변경 및 복구를 계획합니다.
- 초기 로드: 새 인덱서에는 자체 처리 상태가 있습니다. 원본 읽기, 구문 분석, 청크 분할, 적용 가능한 보강, 그리고 전체 의도된 코퍼스 전반의 대체 임베딩에 대한 예산을 책정하세요. 이 로드 전에 대체 모델을 구성합니다. 벡터를 다시 생성하기 전에 원본 문서가 변경되기를 기다리지 마세요.
- 증분 실행: 초기 로드 후, 일반 실행은 원본에서 지원하는 변경 감지 방식을 사용합니다. 모든 벡터를 다시 생성하라는 요청이 아닙니다. 일정에 의존하기 전에 업데이트, 삭제 및 권한 변경이 새 인덱스에 도달하는 방법을 확인합니다.
- 보강 캐싱: 보강 캐시는 인덱서별로 관리되는 미리 보기 기능입니다. 이전 인덱서의 캐시가 새 파이프라인으로 이전되거나 재빌드가 증분 방식이 된다고 가정하지 마세요. 모델 입력 또는 기술 동작이 변경되면 캐시 처리 지침을 따릅니다.
- 다시 시도 및 다시 설정: 청크당 정확히 한 번 처리 또는 하나의 모델 호출을 가정하지 마세요. 중단 및 재시도는 작업을 반복하고 모델 할당량과 예산을 사용할 수 있습니다. 마이그레이션 인덱서를 실행하고 모니터링하여 처리를 계속하세요. 오류를 다시 시도하기 위해 정기적으로 재설정하거나 다시 만들지 마세요. 재설정 후 실행이 전체 재처리를 요청합니다.
- 청크 및 삭제 조정: 구문 분석 또는 청크 분할이 변경되는 경우 재처리는 청크 개수 또는 키를 변경할 수 있습니다. 누락된 자식 레코드와 사용되지 않는 자식 레코드를 확인하고 올바른 사용 권한을 유지합니다. 다시 설정하고 다시 실행해도 원본 레코드가 더 이상 존재하지 않는 고아 문서는 제거되지 않습니다. 지원되는 삭제 절차를 사용하세요.
- 파이프라인 겹침: 두 인덱서는 모두 활성 상태로 유지되지만 원본 변경은 두 모델과 적용 가능한 보강을 모두 호출할 수 있습니다. 마이그레이션 비용 예측에 이 겹침, 제한 및 반복된 작업을 포함합니다.
보강 캐싱은 백업 또는 마이그레이션 완료 원장이 아닙니다. 반복된 중단 또는 스킬 실패는 큰 원본에서 재처리를 증가시킬 수 있습니다. 캐싱이 다시 빌드의 비용이나 기간을 줄인다고 가정하기 전에 대표적인 워크로드를 검증하십시오.
동일한 인덱스에 두 번째 벡터 필드 추가
기본 제공 인덱서 파이프라인이 아닌 애플리케이션 관리 푸시 수집에 이 절차를 사용합니다. 인덱서 사용자는 새 인덱서로 원본에서 다시 빌드해야 합니다.
대체 항목을 채우고 테스트하는 동안 이전 및 새 벡터 필드를 함께 유지합니다. 이 방법은 두 번째 전체 인덱스를 만들지 않지만 백필은 프로덕션 트래픽과 경쟁하며 중단 없는 서비스를 보장하지 않습니다.
- 수집 흐름이 스키마 및 기록기 변경 내용을 지원하는지 확인합니다. 생성된 기술 자료 인덱스가 임의 사용자 지정을 지원한다고 가정하지 마세요. 문서를 작성하기 전에 두 벡터 집합의 용량 을 확인하고 부분 업데이트 위험을 검토합니다 .
- 해당하는 경우 새 벡터 필드와 호환되는 벡터 프로필, 알고리즘 구성 및 벡터라이저를 추가합니다. 대체 모델의 차원 및 유사성 설정을 사용합니다. 기존 문서에는 처음에 새 필드에 null 값이 있습니다.
- 프로덕션 쿼리는 이전 벡터 필드와 호환되는 쿼리 모델을 계속 사용하세요. 새 문서와 변경된 문서에 대해 쓰기 일시 중지 또는 조정된 이중 쓰기를 구성합니다. 이중 쓰기 중에 동일한 신뢰할 수 있는 콘텐츠 수정 버전에서 두 임베딩을 모두 생성하고 오류를 명시적으로 처리합니다.
- 각 기존 문서에 대해 의도한 텍스트에서 새 필드를 백필합니다. 백필을 바인딩하고 다시 시작할 수 있도록 설정에서 컨트롤을 사용합니다. 관련 없는 콘텐츠, 사용 권한 및 이전 벡터를 유지합니다.
- 합의된 동기화 경계를 통해 의도한 모든 문서 키 및 원본 수정 내용을 일치시킵니다. 누락된 벡터, 실패한 쓰기, 삭제 및 권한 변경을 해결합니다. 일치하는 문서 개수만으로는 포괄성이 입증되지 않습니다.
- 프로덕션 쿼리를 전환하기 전에 새 필드에 대한 데이터, 액세스 및 검색 테스트를 완료합니다.
- 동일한 인덱스 쿼리 경로를 전환하고 합의된 롤백 기간 동안 이전 경로를 유지합니다. 해당 기간 동안 이전 벡터를 최신 상태로 유지하거나 테스트된 캐치업 경로를 유지합니다.
- 롤백 창 및 승인 후 이전 임베딩 생성을 중지합니다. 필요에 따라 테스트된 문서 업데이트 프로세스를 통해 이전 벡터 값을 지울 수 있습니다. 인덱스를 다시 작성할 때까지 이전 필드는 스키마에 남아 있습니다.
이전 필드의 searchable 속성을 제자리에서 변경하여 이전 필드를 사용하지 않도록 설정하려고 하지 마세요. 해당 특성을 변경하거나 필드를 제거하려면 다시 빌드해야 합니다. 필드를 정의한 상태로 두면 쿼리할 필요가 없습니다.
백필의 범위를 제한하고 재시작 가능하게 만들기
과거 데이터 백필을 진행 중인 수집과 분리합니다. 초기 코퍼스를 한 번 처리하고, 진행 중인 경로를 통해 새 콘텐츠와 변경된 콘텐츠를 처리하고, 전환 전에 정합성을 확인합니다. 지속적인 원본 변경에는 둘 이상의 조정 통과가 필요할 수 있습니다.
진행률 추적을 사용하여 불필요한 임베딩 호출을 방지하고, 작성자 간 조율을 통해 오래된 업데이트를 방지합니다. 이러한 애플리케이션 관리형 컨트롤은 다양한 문제를 해결합니다.
| Control | 사용 방법 | Limitation |
|---|---|---|
| 마이그레이션 버전 및 준비 상태 | 새 벡터에 사용되는 embedding-contract 버전 및 소스 리비전을 추적합니다. 누락되었거나 오래된 작업을 처리합니다. 성공적인 벡터 쓰기 후에만 완료를 기록합니다. |
vectorV2Ready와 같은 부울만으로는 원본 변경 후 최신 상태임을 증명하지 않습니다. 표식은 잠금이 아닙니다. |
| 결정적 체크포인트 | 제한된 패스에 대해 안정적인 정렬 가능/필터링 가능한 키 검사점 또는 신뢰할 수 있는 원본 커서를 유지합니다. 통과 완료를 선언하기 전에 재시도할 수 있도록 실패한 키를 보관합니다. | 문서 키는 자동으로 생성 시점 워터마크가 아닙니다. 커서 이후의 새 레코드 또는 수정된 레코드는 다시 처리하거나 정합성을 조정해야 합니다. 검색 페이징은 트랜잭션 스냅샷이 아닙니다. |
| 원본 리비전 또는 콘텐츠 해시 | 벡터에 사용되는 콘텐츠 및 임베딩 계약을 현재 원본 상태와 비교합니다. 이미 최신 상태이며 변경되지 않은 레코드는 건너뜁니다. | 쓰기 전에 수정 검사를 수행해도 검사와 쓰기 간의 변경이 방지되지는 않습니다. 비교에 모든 임베딩 입력과 전처리를 포함하세요. |
외부 지속형 원장 또는 적합한 인덱스 필드에 진행률을 저장합니다. 인덱스 표식을 기준으로 필터링하는 경우 해당 쿼리에 대한 해당 필드 형식 및 필터링 가능성을 구성합니다. 벡터 쓰기가 아직 보류 중이거나 실패한 동안에는 작업을 완료로 표시하지 마세요.
각 문서 키별로 과거 및 진행 중인 쓰기 작업을 조정하세요. 예를 들어 변경 내용을 직렬화하고 오래된 소스 개정본을 거부하는 수집 소유자 하나를 통해 둘 다 라우팅합니다. 표식만으로는 오래된 임베딩 요청이 최신 쓰기 후에 완료되어 이를 덮어쓰는 것을 막을 수 없습니다.
일괄 처리 작업 순서 지정, 변경되지 않은 오래된 페이로드 재시도 또는 가정된 문서 수준 조건부 업데이트 보장에 의존하지 마세요. 신뢰할 수 있는 순서 지정 및 정합성 확인을 설정할 수 없는 경우 적절한 동기화 계획을 사용하여 쓰기 일시 중지 또는 별도의 인덱스 접근 방식을 사용합니다.
기존 레코드의 과거 업데이트에는 레코드가 더 이상 존재하지 않을 때 실패하는 merge를 고려하세요. 부실 mergeOrUpload 하거나 upload 삭제된 레코드를 다시 만들 수 있습니다. 동일한 수집 흐름을 사용하여 삭제 및 권한 변경을 조정하고 모든 문서의 인덱싱 결과를 검사합니다.
마이그레이션 샘플을 사용하세요
다음 참조 샘플은 내보낸 텍스트를 새 대상 인덱스에 다시 임베드하는 방법을 보여 줍니다. 종속성, 인증, 구성, 명령 및 유효성 검사에 대해서는 해당 README들을 따르세요.
이러한 샘플은 애플리케이션에서 관리되는 푸시 워크플로를 사용합니다. 기존 기본 제공 인덱서 파이프라인에 대한 마이그레이션 도구가 아닙니다. 기본 제공 인덱서의 경우 새 인덱스 및 인덱서를 사용하여 전체 소스 다시 빌드 절차를 따릅니다.
| Sample | 내보내기 기반의 워크플로우 | 동일 인덱스의 두 번째 필드 워크플로 |
|---|---|---|
| Python 임베딩 모델 마이그레이션 | 적격한 고정 소스 인덱스를 백업하고, 동일하게 복원되는지 검증하고, 선택한 벡터 필드를 다시 생성한 다음, 새 대상에 복원합니다. 임베딩 함수와 선택적 Blob 수집 파이프라인 예제가 포함됩니다. | 이 샘플 위치에 계획되어 있습니다. 두 번째 필드 프로시저를 따릅니다. README에서 사용 가능한 구현을 확인합니다. |
| .NET 임베딩 모델 마이그레이션 | 백업/복원 도구를 사용하여 완전한 베이스라인을 만들고, 다시 임베딩된 아티팩트를 준비하고, 필요에 따라 새 대상에 복원합니다. 별도로 배포된 embedding 함수를 사용합니다. | 이 샘플 위치에 계획되어 있습니다. 두 번째 필드 프로시저를 따릅니다. 사용 가능한 구현은 README에서 확인합니다. |
내보내기 기반 워크플로는 인증된 문서 및 쿼리 임베딩 경로를 사용합니다. 그들의 fast 및 pro 선택은 임의의 공급자에 대한 제네릭 스위치가 아닌 샘플별 모델 구성입니다. 대체 모델의 실제 인터페이스에 대한 적응의 유효성을 검사합니다. 그들의 절차는 다음과 같습니다.
- 선택한 샘플의 스키마, 키, 스토리지 및 인증 필수 구성 요소를 검토합니다. 클라우드 작업 전에 오프라인 검사를 실행합니다.
- 백업하는 동안 해당 소스 기록기를 모두 동결하십시오. 명령줄에서 확인해도 인덱서나 다른 애플리케이션은 중지되지 않습니다.
- 새 출력 디렉터리에 전체 기준선을 만듭니다. 부분 내보내기 또는 불완전한 아티팩트를 마이그레이션 입력으로 거부하십시오. 나중에 원본 쓰기를 다시 시작하는 경우 컷오버 전에 해당 변경 내용을 캡처하고 다시 적용합니다.
- 인증 및 측정된 출력 차원을 포함하여 임베딩 함수의 문서 및 쿼리 경로의 유효성을 검사합니다.
- 대체 벡터를 생성하고 새 대상 인덱스를 로드합니다. 샘플에서 요구하는 대로 새 아티팩트 디렉터리 및 대상 이름을 사용합니다. 0이 아닌 종료 및 문서별 실패를 완료가 아닌 실패로 처리합니다.
- 호환되는 벡터를 생성하도록 향후 수집을 구성합니다. 샘플은 기존 인덱서, 데이터 원본, 기술 세트, 별칭 또는 외부 모델 리소스를 자동으로 마이그레이션하지 않습니다.
내보내기 기반 샘플은 한 최상위 텍스트 필드에서 선택한 최상위 벡터 필드 하나를 다시 생성합니다. 중첩 또는 다중 모드 필드, 모든 권한 흐름 또는 임의의 프로젝션 스키마를 이들이 처리한다고 가정하지 마세요. 또한 선택한 벡터 프로필의 압축 구성도 변경합니다. 타깃의 알고리즘 및 스토리지 설정을 검토합니다.
선택적 Python 파이프라인은 기존 청크, 프로젝션 또는 보안 구성의 재구성이 아닌 전체 문서 Blob 예제입니다. 수집 계약이 요구 사항과 일치하는 경우에만 사용합니다.
데이터, 액세스 및 검색 유효성 검사
프로덕션 트래픽을 전환하기 전에 성공적인 마이그레이션 테스트가 필요합니다. 문서 수 또는 하나의 성공적인 쿼리에 의존하지 않고 비즈니스에 적합한 임계값을 사용하여 시작하기 전에 통과 조건을 정의합니다.
단계적으로 테스트하세요: 작지만 대표성 있는 데이터 세트로 시작하고, 데이터가 완전히 채워진 대상 시스템을 검증하며, 컷오버와 롤백을 미리 연습하세요. 예상 트래픽에 대해 부하 테스트를 실행합니다. 오프라인 샘플 테스트는 도구의 동작을 확인하는 데 도움이 되지만, 배포된 모델, ID, 네트워크 구성 및 애플리케이션을 사용한 엔드투엔드 테스트를 대체할 수는 없습니다.
데이터 및 구성 확인
- 대상 스키마를 의도한 변경 내용과 비교합니다. 의도하지 않은 차이점에 대한 관련 없는 필드, 프로필 및 종속성을 검토합니다.
- 합의된 동기화 지점을 통해 문서 키, 부모-자식 연결, 예상된 비벡터 값, 삭제 및 최신 상태를 조정합니다.
- 대체 벡터가 채워지고 유한하며 예상 차원이 있는지 확인합니다. 실패한 업로드 및 누락된 포함을 해결합니다.
- 새 문서와 업데이트가 모두 대체 임베딩 계약을 사용하는지 확인합니다.
- 인덱서 다시 빌드의 경우 전체 초기 소스 로드, 후속 변경 검색, 그리고 중단된 실행에서의 복구를 확인합니다. 인덱서 재설정을 정리로 처리하는 대신 프로젝션된 청크 및 소스 데이터의 삭제 항목을 조정합니다.
- 두 번째 필드 마이그레이션의 경우 준비 상태가 단순히 채워진 벡터가 아니라 현재 원본 수정 버전 및 임베딩 계약에 해당하는지 확인합니다.
- 애플리케이션 관리 백필의 경우 처리를 중단했다가 다시 시작하십시오. 커밋된 진행률이 완료되고 변경되지 않은 작업을 건너뛰고 실패한 레코드가 다시 시도 가능한 상태로 유지되는지 확인합니다. 불완전한 작업은 다시 실행할 수 있습니다. 이를 정확히 한 번 보장으로 취급하지 마십시오.
- 과거 임베딩 요청이 진행 중인 동안 업데이트 및 삭제를 테스트합니다. 부실 작업이 현재 벡터를 덮어쓰거나, 준비 상태를 잘못 표시하거나, 삭제된 콘텐츠를 다시 만들 수 없는지 확인합니다.
- 검사점 뒤에서 추가되거나 변경된 테스트 레코드입니다. 적용 가능한
stored: false업데이트를 포함하여 이전 벡터 및 사용 권한의 대사 및 유지를 확인합니다.
동일한 기준 복사본의 경우 벡터를 포함하여 콘텐츠 충실도를 비교합니다. 모델 마이그레이션의 경우 이전 벡터와 새 벡터는 숫자로 같지 않을 것으로 예상됩니다.
액세스 및 쿼리 실행 확인
- 권한 있는 ID와 권한이 없는 ID를 대표적인 보호된 콘텐츠를 사용해 테스트합니다. 지원되는 권한 흐름을 유지합니다. 필터링되지 않거나 권한이 상승된 대체 수단으로 바꾸지 마세요.
- 실제 검색 ID 및 네트워크 경로를 통해 쿼리 시간 벡터화를 실행합니다.
- 클라이언트에서 생성된 쿼리 벡터, 선택한 필드, 프로필 및 임베딩 캐시를 확인합니다. 콘텐츠 및 권한 변경을 포함하여 콜드 및 웜 캐시를 사용하여 캐시 무효화 및 버전 관리 테스트
- 대상 인덱스에 대한 직접 요청뿐만 아니라 애플리케이션 및 종속 검색 클라이언트도 테스트합니다.
품질 및 운영 평가
- 중요한 언어, 필터 및 쿼리 유형을 포함하여 판단된 쿼리 및 비즈니스 작업과 관련성을 비교합니다.
- 애플리케이션에서 사용하는 테스트 벡터, 하이브리드 및 의미 체계 쿼리 동작을 테스트하세요. 원시 벡터 점수가 모델 간에 비교할 수 있다고 가정하지 않고 점수 기반 임계값을 검토합니다.
- 대표 부하에서 대기 시간 분포, 처리량, 제한, 스토리지 및 임베딩 사용량을 측정합니다.
- 대상이 최신성, 액세스, 품질 및 운영 예산 요구 사항을 충족하는지 확인합니다.
검사가 실패하면 원인을 해결하는 동안 프로덕션 트래픽을 기존 경로에 유지합니다. 전체 로드가 완료되었다고 해서 전환하지 마세요.
트래픽 전환 및 롤백 경로 유지
수집 및 쿼리에서 변경 사항을 조정합니다. 애플리케이션에서 쿼리 벡터를 생성하는 경우 인덱스 이름만 전환하는 것만으로는 충분하지 않습니다.
- 합의된 쓰기 또는 변경 재생 경계에 도달하고 인수 테스트를 완료합니다.
- 직접 인덱스 컷오버의 경우 애플리케이션의 인덱스 대상, 쿼리 임베딩 구성, 선택한 벡터 필드 및 캐시를 조정된 배포로 전환합니다. 별칭 기반 전환의 경우 별칭을 사용하여 보조 인덱스 전환을 따르세요; 별칭 및 모델 변경을 원자적으로 처리하지 마세요.
- 인덱서 기반 마이그레이션의 경우 새 인덱서가 새 물리적 인덱스를 대상으로 하도록 유지하고 필요에 따라 진행 중인 일정을 구성합니다. 지원되는 대상 구성을 통해 지식 원본을 업데이트합니다.
- 프로덕션 읽기 및 쓰기가 의도한 대상에 도달하는지 확인합니다. 새 문서, 업데이트, 삭제 및 적용 가능한 권한 변경을 테스트합니다.
- 롤백 기간 동안 합의된 관련성 및 운영 신호를 모니터링합니다.
- 수락 및 보존 요구 사항이 충족된 후에만 사용되지 않는 수집 경로 및 모델 종속성을 사용 중지합니다. 별도의 인덱스 마이그레이션의 경우 이전 인덱스를 폐기합니다. 두 번째 필드 마이그레이션에서는 활성 인덱스를 유지하고 이전 벡터 정리 지침을 따르세요.
호환되는 쿼리 경로뿐만 아니라 이전 인덱스도 함께 유지합니다. 이전 모델이 사용 중지되거나 액세스할 수 없게 되면 이전 인덱스만으로는 실행 가능한 롤백을 제공하지 못할 수 있습니다. 이전 모델을 계속 사용할 수 있는 동안 롤백을 예행 연습합니다.
트래픽을 다시 리디렉션하기 전에 컷오버 이후 수락된 쓰기 작업을 고려하세요. 별칭을 롤백해도 해당 쓰기는 이전 인덱스에 복사되지 않습니다.
같은 인덱스 쿼리 경로 전환하기
두 번째 필드 마이그레이션의 경우 인덱스 이름을 유지하고 애플리케이션의 쿼리 구성을 변경합니다. 인덱스 별칭은 벡터 필드를 선택하지 않습니다.
- 새 필드에 대한 승인 테스트 및 최종 조정을 완료합니다.
-
vectorQueries.fields를 호환되는 쿼리 임베딩 모델과 함께 새 벡터 필드로 전환합니다. 텍스트 벡터 쿼리의 경우 새 필드의 프로필과 연결된 벡터라이저를 확인합니다. 캐시 및 모든 종속 쿼리 경로를 업데이트합니다. - 업데이트, 삭제 및 권한 변경을 포함하여 프로덕션 읽기 및 진행 중인 쓰기를 테스트합니다. 롤백 기간 동안 두 임베딩 경로를 계속 유지 관리하거나 이전 필드를 최신 상태로 동기화할 수 있는 테스트된 방법을 유지합니다.
- 롤백이 필요한 경우 이전 필드를 동기화하고 호환되는 쿼리 구성을 함께 복원합니다. 이전 모델은 계속 사용 가능해야 합니다.
- 승인 및 롤백 창 후에는 이전 모델 쓰기를 사용 중지하고 계획된 모든 이전 벡터 정리를 수행합니다.
이전 벡터를 지우면 해당 즉시 롤백 경로가 제거됩니다. 실제 벡터 컬렉션 형식, API 및 업데이트 동작으로 정리를 테스트하고 새 필드와 관련 없는 콘텐츠를 유지합니다. 물리적 삭제는 즉시 수행되지 않습니다. 용량을 재평가하기 전에 인덱스 통계를 모니터링합니다.
별칭으로 보조 인덱스 전환
애플리케이션이 이미 인덱스 별칭을 참조하는 경우 인덱스를 다시 작성할 때 해당 별칭 이름을 유지합니다. 동일한 Foundry IQ 서비스에서 보조 인덱스를 만들고 유효성을 검사한 다음 별칭 매핑이 해당 보조 인덱스를 가리키도록 변경합니다. 지원되는 애플리케이션 호출은 인덱스 이름 참조를 변경하지 않고 동일한 이름을 계속 사용합니다.
- 애플리케이션의 지원되는 문서 작업이 실제 인덱스 이름이 아닌 별칭을 참조하는지 확인합니다. 실제 이름을 사용하는 경우 별칭 기반 전환에 의존하기 전에 별칭을 사용하도록 구성합니다.
- 별칭이 여전히 기존 인덱스를 가리키는 동안 보조 인덱스를 만들고, 채우고, 테스트합니다.
- 모델별 쿼리를 일시 중지하고 별칭을 사용하는 쓰기 프로세스를 푸시합니다. 진행 중인 요청 및 대기 중인 재시도를 비운 다음 최종 동기화를 완료합니다.
- 기존 별칭을 업데이트 하여 인덱스 대상을 보조 인덱스로 바꿉니다.
- 별칭 전파를 허용하도록 업데이트 후 최소 10초 동안 트래픽을 일시 중지된 상태로 유지합니다. 대체 인덱스에 대한 클라이언트 쪽 임베딩, 선택한 벡터 필드 및 캐시를 구성합니다. 쿼리를 다시 시작하고 쓰기를 푸시하기 전에 별칭을 통해 요청의 유효성을 검사합니다. 유효성 검사에 실패할 경우 트래픽을 일시 중지된 상태로 유지합니다.
별칭 업데이트가 전파되는 데 최대 10초가 걸릴 수 있습니다. 클라이언트에서 생성된 임베딩을 즉시 전환하면 해당 간격 동안 교체 모델 벡터를 이전 인덱스로 보낼 수 있습니다. 별칭을 롤백할 때 동일한 일시 중지, 드레이닝, 전파 대기 및 유효성 검사 시퀀스를 적용합니다.
트래픽을 일시 중지할 수 없는 경우, 각 쿼리 또는 푸시 쓰기 작업이 물리적 인덱스와 그에 대응하는 버전 지정 임베딩 구성을 사용하도록 고정하는 애플리케이션 라우팅을 사용합니다. 재시도를 통해 해당 페어링을 유지합니다. 변경 가능한 별칭을 사용하여 인덱스 및 클라이언트에서 생성된 임베딩을 원자적으로 전환하지 마세요.
별칭은 하나의 Foundry IQ 서비스로 범위가 지정됩니다. 대상 인덱스가 다른 서비스에 있는 경우 애플리케이션의 서비스 엔드포인트를 별도로 업데이트합니다. 별칭은 서비스 간에 요청을 리디렉션할 수 없습니다.
별칭은 한 번에 하나의 인덱스에 매핑됩니다. 이전 인덱스와 새 인덱스에 요청을 분산하거나 리소스 간에 트랜잭션을 제공하지 않습니다. 또한 벡터를 다시 생성하거나 애플리케이션의 임베딩 모델을 변경하지 않습니다.
인덱서 및 Foundry IQ 인덱스의 지식 원본은 별칭을 대상으로 사용할 수 없습니다. 이러한 구체적인 인덱스 참조를 별도로 업데이트하세요.
동일 인덱스 마이그레이션의 위험을 고려하세요
동일한 인덱스 접근 방식을 선택하는 경우 백필 중에 이전 및 새 임베딩 공간을 격리하고 쿼리에서 누락된 벡터를 처리하는 방법을 확인합니다. 차원 또는 다른 필드 속성을 변경하려면 인플레이스 업데이트가 아닌 새 필드 또는 인덱스가 필요할 수 있습니다.
백필하기 전에 부분 업데이트 동작을 검토합니다. 기존 벡터 필드의 stored: false경우 해당 merge 또는 mergeOrUpload 업데이트에서 벡터를 생략하면 벡터 데이터가 손실될 수 있습니다.
벡터 스토리지 옵션을 참조하세요.
이 위험은 새 필드를 채우거나 나중에 이전 필드를 지울 때 적용됩니다. 업데이트에 필요하며 영향을 받는 모든 벡터를 유지하거나 다시 생성합니다. 수집 흐름이 그렇게 할 수 없는 경우 다른 마이그레이션 방법을 사용합니다.
기존 필드를 덮어쓰는 경우 복구 데이터를 해당 필드 외부에 유지하고 교체 전체에서 호환되지 않는 쿼리를 격리합니다. 두 번째 필드를 추가하면 이전 벡터가 유지되지만 일관성 제어, 액세스 유효성 검사 및 테스트된 롤백 계획이 필요합니다.
마이그레이션 문제 해결
| 증상 | Action |
|---|---|
| 내보내기가 실패하거나 필수 필드가 없습니다. | 검색 가능성, 벡터 스토리지, 쿼리 권한 부여 및 샘플의 페이징 요구 사항을 확인합니다. 전체 내보내기가 불가능한 경우 원본에서 다시 빌드합니다. |
| 벡터 생성 또는 쿼리에서 차원 오류가 보고됩니다. | 대체 모델의 출력을 측정하고 필드 정의, 프로필 및 쿼리 생성기를 함께 확인합니다. 모델이 해당 구성을 명시적으로 지원하지 않는 한 벡터를 패딩하거나 자르지 마세요. |
| 문서 개수는 일치하지만 콘텐츠가 부실하거나 레코드가 없습니다. | 동기화 경계를 통해 키와 필드 값을 대조합니다. 내보내기 또는 백필 중에 수행한 삭제 및 변경 내용을 확인합니다. |
| 백필은 변경되지 않은 문서를 반복적으로 임베드합니다. | 임베딩 계약 버전 및 원본 수정 버전을 포함하여 성공적인 작업을 추적합니다. 검사점 지속성, 실패한 키 재시도 및 누락되었거나 오래된 표식 선택을 확인합니다. |
| 레코드가 준비 상태로 표시되어 있더라도 새 벡터는 오래된 상태입니다. | 키별로 과거 및 진행 중인 writer를 조정하세요. 표식은 오래된 쓰기를 방지하지 않습니다. 전환 전에 현재 원본 수정 버전과 조정합니다. |
| 삭제된 레코드는 백필 중에 다시 나타납니다. | 오래된 upsert가 삭제된 콘텐츠를 다시 만드는 것을 방지합니다. 백필과 삭제 작업을 조정하고 기존 문서가 필요한 업데이트를 고려합니다. |
| 함수는 로컬에서 작동하지만 검색 쿼리는 실패합니다. | 검색-함수 인증, audience 값, 호출자 권한 부여, 네트워크 액세스 및 함수-모델 연결을 확인합니다. 사용자 지정 Web API 벡터라이저를 참조하세요. |
| 일부 문서만 성공적으로 로드됩니다. | 문서별 결과를 검사하고, 오류를 해결하고, 수집 계획에 따라 다시 시도합니다. 인덱서 기반 로드에 대한 인덱서 문제 해결 을 참조하세요. |
| 액세스 결정은 원본과 다릅니다. | 대상을 프로덕션 환경에 두지 마세요. 대표 ID를 다시 테스트하기 전에 지원되는 권한 수집 흐름 및 문서 연결을 검토합니다. |
| 검색 품질이 저하됩니다. | 모델 일관성, 작업 설정, 전처리, 청크, 유사성 메트릭 및 압축을 확인합니다. 프로덕션 트래픽을 변경하기 전에 대표 쿼리를 사용하여 다시 평가합니다. |