Poetry’yi kurun:
curl -sSL https://install.python-poetry.org | python3 -
Depoyu klonlayın:
git clone https://github.com/run-llama/llama_index.git
Proje klasörüne gidin:
cd llama_index
Diyelim ki LangChain veya LangGraph ile bir proje geliştiriyorsunuz ve geliştirme ortamınızı uzak bir sunucuda tutmak istiyorsunuz.
LangSmith Studio çözümüne bu sunucu üzerinden erişmek istediğinizde, basit bir şekilde şu linki kullanabilirsiniz:
https://smith.langchain.com/studio/?baseUrl=http://127.0.0.1:2024
Ancak burada şöyle bir durum var: Takımınızdaki her geliştirici LangSmith Studio ile hata ayıklamak istediğinde, bu linkin çalışabilmesi için projeyi sunucudan alıp kendi lokal geliştirme ortamını kurmaları gerekir. Aksi halde link onlar için çalışmayacaktır.
Temel veya ön eğitimli dil modelleriyle deneme yaparken, uygun bir model bulmak zor olabilir; çünkü mevcut modellerin çoğu artık talimat-odaklı eğitilmiş (instruction-tuned) hale getirilmiş durumda.
Bu yüzden bu modelleri hem barındırılan API'ler hem de yerel olarak çalıştırmanın birkaç hızlı ve pratik yolunu paylaşmak istedim. Böylece model aramakla vakit kaybetmeden hemen denemeye başlayabilirsiniz.
babbage-002 kullanan basit bir curl örneği:
Hey,
Bir Ollama sunucusunu taklit etmeye çalıştığım son denememden bazı kod parçacıklarını paylaşmak istedim.
create-llama ile çalışırken Ollama sunucusuna gönderilen sorguları ve ondan alınan yanıtları tam olarak yakalamam gerekiyordu. Bunu yapmak için sahte bir Ollama sunucusu oluşturdum. Ancak başlangıçta beklediğimden daha zorlu olduğu ortaya çıktı! :)
Tam olarak emin değilim ama denemem sırasında bir hata keşfetmiş olabileceğimi düşünüyorum! 🥳
Projeye kesinlikle biraz karmaşıklık katan sunucu iletişimini simüle etmek için Python'un soket modülünü kullandım. Bu yazıda yazdığım Python soket programını, süreç boyunca kullandığım diğer ilgili kod parçacıkları ve komutlarla birlikte paylaşacağım.
Bir süre curl ile denemeler yaptıktan sonra başlıkları ve yanıtları nasıl kullanacağımı buldum. Ancak verileri bir soket aracılığıyla parçalar halinde göndermek, beklediğim kadar kolay olmadı.
Jupyter Notebooks/Lab veya JupyterAI ile çalışmaktan hoşlanıyorsanız sanal ortamınızı kolayca kurmak için bu şablonu kullanabilirsiniz.
Conda ile LlamaIndex ve Jupyter-AI'yi Kurma
Conda aracılığıyla kullanılamayan langchain-ollama paketini yüklemek için pip dokunuşuyla LlamaIndex ve Jupyter-AI'yi nasıl kuracağınız aşağıda açıklanmıştır (bkz: langchain-ollama on Anaconda).
# install conda
mkdir -p ~/miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
rm ~/miniconda3/miniconda.sh