LM Studio

LM Studio nedir?

LM Studio, büyük dil modellerini yerel olarak indirmek, yönetmek ve çalıştırmak için kullanılan bir masaüstü uygulamasıdır. Yerel Sunucusu, yerel modelleri OpenAI uyumlu bir API aracılığıyla kullanıma sunar, böylece Read Frog, yerel çeviri ve okuma için OpenAI uyumlu bir özel sağlayıcı aracılığıyla LM Studio'ye bağlanabilir.

LM Studio'nin resmi OpenAI uyumlu örnekleri http://localhost:1234/v1 kullanır. 1234 kısmı Yerel Sunucu bağlantı noktasıdır. Kendi kurulumunuzda, her zaman LM Studio'nin Yerel Sunucu ayarlarında yapılandırılan bağlantı noktasını eşleştirin.

LM Studio Yerel Sunucuyu Yapılandırın

1. LM Studio'yı indirip yükleyin

LM Studio'yi official website'dan indirin, kurun ve donanımınıza uygun bir model indirin.

Çeviri için daha küçük ve daha hızlı bir model genellikle daha iyidir. Read Frog'ın okuma, özet veya yapılandırılmış çıktı özellikleri için yapılandırılmış çıktıyı destekleyen bir model seçin.

2. Yerel Sunucuyu Başlatın

LM Studio'da Geliştirici -> Yerel Sunucu'yu açın, bir modelin yüklendiğinden emin olun ve ardından sunucuyu başlatın.

Sunucuyu LM Studio CLI ile de başlatabilirsiniz:

lms server start --port 1234 --cors

Kullanıcı arayüzünde 3000 gibi başka bir bağlantı noktası kullanırsanız, Read Frog içindeki Temel URL'nin de http://localhost:3000/v1 olarak değiştirilmesi gerekir.

3. Sunucu Ayarlarını Yapılandırın

Geliştirici -> Yerel Sunucu -> Sunucu Ayarları'nda önerilen kurulum şöyledir:

4. Bir API Tokenı oluşturun

Sunucu Ayarları'nı açın, Kimlik Doğrulaması Gerektir seçeneğini etkinleştirin ve ardından yeni bir API Belirteci oluşturmak için Belirteçleri Yönet'i tıklayın.

Belirteci oluşturulduktan hemen sonra kopyalayın. LM Studio bunu yalnızca bir kez gösterir. Daha sonra bu jetonu Read Frog'nin API Key alanına yapıştırın.

Her zaman kimlik doğrulamayı etkinleştirmeniz ve gerçek bir LM Studio API Token'ı Read Frog'a yapıştırmanız önerilir. Bu, CORS veya LAN erişimi etkinleştirildiğinde yetkisiz istemcilerin yerel sunucunuzu aramasını engeller.

LM Studio'yı Read Frog'da yapılandırın

1. API Sağlayıcıları sayfasını açın

1. Tarayıcı araç çubuğundaki Read Frog uzantı simgesini tıklayın
2. Seçenekler'i tıklayın
3. API Sağlayıcılar / model sağlayıcı ayarları sayfasını açın
4. OpenAI uyumlu bir özel sağlayıcı ekleyin

2. Bağlantı ayarlarını doldurun

LM Studio Yerel Sunucunuz varsayılan 1234 bağlantı noktasını kullanıyorsa:

{
  "baseURL": "http://localhost:1234/v1",
  "apiKey": "Paste the API Token created in LM Studio",
  "model": "Select a model with Read Frog's Fetch Models action"
}

Yerel Sunucu bağlantı noktanız 1234 değilse Temel URL'yi güncelleyin:

{
  "baseURL": "http://localhost:XXXXX/v1"
}

Temel URL'yi ve API Anahtarını yapılandırdıktan sonra, LM Studio Yerel Sunucu tarafından sunulan model listesini okumak için Read Frog'da Modelleri Al'a tıklayın ve ardından kullanmak istediğiniz modeli seçin.

Model listesini manuel olarak doğrulamanız gerekiyorsa şunları da kullanabilirsiniz:

curl http://localhost:1234/v1/models \
  -H "Authorization: Bearer YOUR_LM_STUDIO_TOKEN"

Kimlik doğrulama devre dışıysa Authorization başlığını kaldırın.

3. Bağlantıyı test edin

Sağlayıcıyı kaydettikten sonra Bağlantıyı Test Et'e tıklayın. Başarısız olursa şunları kontrol edin:

• LM Studio Yerel Sunucu çalışıyor
• Temel URL /v1 ile bitiyor
• Bağlantı noktası LM Studio'daki Sunucu Bağlantı Noktasıyla eşleşir
• CORS'u Etkinleştir açık
• Kimlik Doğrulaması Gerektir etkinse, API Anahtarı LM Studio belirtecinizdir
• Yüklenen model tanımlayıcısı doğru

Düşünme Modunu Devre Dışı Bırak

Qwen modelleri gibi bazı modeller düşünme/akıl yürütme modunu destekler. Etkinleştirildiğinde model, nihai yanıttan önce muhakeme içeriğinin çıktısını alabilir. Bu, sohbet için yararlı olabilir, ancak Read Frog'nin yapılandırılmış çıktısına müdahale edebilir ve çeviri bilgilerinin doğru şekilde döndürülmesini engelleyebilir.

Çeviri, gerekçe metni içeriyorsa, çıktı biçimi kararsız hale gelir veya JSON ayrıştırma başarısız olursa, onu LM Studio'da devre dışı bırakın:

1. Yüklenen modelin yapılandırma panelini açın
2. Model Parametreleri'ne gidin -> Özel Alanlar
3. Düşünmeyi Etkinleştir'i kapatın
4. Düşünmeden hazır ayar olarak kaydedin
5. İstendiğinde modeli yeniden yükleyin veya yapılandırmayı uygulayın

Tam alan adı modele göre değişebilir. Düşünmeyi Etkinleştir seçeneğini görmüyorsanız geçerli model veya çalışma zamanı bu seçeneği sunmayabilir.

Sorun giderme

Tarayıcı uzantısı bağlanamıyor

Yerel Sunucunun çalıştığından ve CORS'u Etkinleştir'in açık olduğundan emin olun. Tarayıcı uzantıları genellikle yerel bir localhost hizmetini ararken CORS desteğine ihtiyaç duyar.

401 veya kimlik doğrulama hataları

Kimlik Doğrulaması Gerektir etkinse, isteklerin Authorization: Bearer <token> içermesi gerekir. Read Frog'de, LM Studio belirtecini API Anahtar alanına yapıştırın.

Bağlantı noktasına ulaşılamıyor

http://localhost:1234/v1 yalnızca sunucu bağlantı noktası 1234 olduğunda çalışır. LM Studio'de başka bir Sunucu Bağlantı Noktası yapılandırdıysanız Temel URL'yi buna göre güncelleyin.

LAN cihazları sunucuya erişemiyor

Başka bir cihazın LM Studio erişimine ihtiyacı varsa Yerel Ağda Hizmet Ver seçeneğini etkinleştirin ve LM Studio çalıştıran makinenin http://192.168.1.10:1234/v1 gibi LAN IP'sini kullanın. Bu, görünürlüğü artıracağından Kimlik Doğrulaması Gerektir seçeneğinin de etkinleştirilmesi gerekir.

Okuma çıktısı geçersiz formatta

Önce Düşünme modunu devre dışı bırakmayı deneyin, ardından daha iyi yapılandırılmış çıktı desteğine sahip bir modele geçin. Bazı açık kaynaklı modellerin JSON-format güvenilirliği daha zayıftır ve farklı bir model veya daha basit çıktı gereksinimleri gerektirebilir.

Referanslar

• LM Studio Server Settings
• LM Studio Authentication
• LM Studio OpenAI Compatibility
• LM Studio CLI server start