Hotel Operations Agent

Problem

Agent bir iş yaptığını söylüyorsa, o iş gerçekten yapılmış olmalı.

Bir misafir “15:00’te çıkabilir miyim?” diye sorduğunda cevap sadece nazik bir cümleden ibaret olamıyor. Arkasında birkaç soru var: istenen saat kaç, odaya bir sonraki misafir ne zaman geliyor, temizlik ekibi arada odayı hazırlayabilir mi. Agent burada yanlışlıkla “tamam” derse iki şeyden biri oluyor: ya misafir aslında onaylanmamış bir çıkış saatine güveniyor ya da bir sonraki misafir geldiğinde oda hazır olmuyor.

Bu yüzden projeye tek bir kuralla başladım: agent’ın yaptım dediği her işin otelin kayıtlarında bir karşılığı olmalı. Kayda bir şey yazılmadıysa agent “yaptım” demiyor.

Kurallar

Otelin kurallarını modelin insafına bırakmadım.

Geç çıkış kuralı şöyle: 14:00’e kadar otomatik veriliyor, 14:00 ile 16:00 arası yönetici onayı gerekiyor, oda bir sonraki misafire yetişmeyecekse hiç verilmiyor. Bunu prompt’a yazıp modelin uymasını ummak yerine, kayda yazan işlemin içinde çalışan bir fonksiyon olarak yazdım. Model ne söylerse söylesin, kaydı değiştirmenin tek yolu bu fonksiyondan geçiyor. Kendini yönetici olarak tanıtan bir misafir bile en fazla bir onay talebi açabiliyor; onayı vermek yine gerçek yöneticiye kalıyor.

Hangi misafirin verisinin okunacağına da model karar vermiyor. Misafir seçildiği anda session o misafirin rezervasyonuna bağlanıyor. Biri sohbette başka bir misafirin rezervasyonunu isterse, agent’ın o kayda ulaşmasını sağlayacak bir tool zaten yok.

Yönetici onayı

Onay gereken talepler yöneticinin ekranına düşüyor.

Onay gereken bir talep geldiğinde agent kendi başına karar vermiyor; talep kalıcı bir kayıt olarak yöneticiye gidiyor. Bu arada otel durmuyor: bir sonraki misafir erken gelebiliyor, bir rezervasyon iptal olabiliyor, bir oda arızalanabiliyor. Bu yüzden yönetici onay verdiği anda kural, otelin o anki kayıtlarıyla bir kez daha kontrol ediliyor. Talep açıldığından beri oda bir sonraki misafir için gerekli hâle geldiyse, yöneticinin kararı kaydediliyor ama çıkış saati değişmiyor.

Kimse karar vermezse talep, istenen saat geldiğinde kendiliğinden düşüyor. Böylece zamanı geçmiş bir onay sonradan uygulanamıyor.

Misafire haber

Bir şey değiştiğinde misafir, sormasına gerek kalmadan haber alıyor.

Yönetici bir talebi sonuçlandırdığında, personel bir işi bitirdiğinde ya da otelde misafiri ilgilendiren bir şey değiştiğinde misafire mesaj gidiyor. Mesajın gönderilip gönderilmeyeceğine kod karar veriyor; metnini agent yazıyor.

Bu mesajları yazarken agent’ın elinde sadece okuma tool’ları oluyor. Misafire bir sonraki adımı önerebiliyor, ama misafir “evet” demeden hiçbir şey yapmıyor.

Ölçüm

Eval’de agent’ın cevabını değil, kayıtlarda neyin değiştiğini ölçtüm.

canlı eval · 75 vaka

75/75

yasak iş değişikliği · yetkisiz yazma

0

otomatik test · ağa çıkmadan

386

Her vaka temiz bir otelle başlıyor ve gerçek model, gerçek veritabanı üzerinde çalışıyor. Bir vakanın geçip geçmediğine agent’ın cevabını okuyarak değil, veritabanında gerçekten ne değiştiğine bakarak karar veriyorum. 75 vakanın hepsi geçti ve hiçbirinde yasak bir iş değişikliği ya da yetkisiz bir yazma olmadı.