Langsmith evaluator
“Authorization” Hatası: Evaluator Testlerinde İnce Bir Header Hatası
LangSmith üzerinde evaluator ile testler yaparken, küçük ama uğraştırıcı bir problemle karşılaştım. Bu durum, küçük uygulama detaylarının bile standart davranışları nasıl bozabileceğini gösteriyor.
Kurulum
Modelim için bir “Correctness” evaluator oluşturdum. Model, Extra Headers alanı üzerinden Authorization header’ı ekledim, zira uzak sunucudaki Ollama bunu gerektiriyor.
Her şey oldukça standart, başka bir ayar değiştirmedim.
Problem
Header’ı şu şekilde manuel olarak eklediğimde:
Authorization: Bearer <token>
testler sorunsuz çalışıyor.
Ancak evaluator’ı kaydettikten sonra LangSmith, header’ı otomatik olarak küçük harfe çeviriyor:
authorization: Bearer <token>