apex-live-tests

name	apex-live-tests
description	k3s_dc üzerinde çalışan APEX botunu mock test suite ile uçtan uca test eder. Kimlik çözümleme, orchestrator routing, KB, dosya oluşturma ve web search yeteneklerini doğrular.

APEX Live Tests Skill

Bu skill, DC (Datacenter) k3s ortamındaki APEX botunu mock_tests/mock_arq_enqueue.py script'i aracılığıyla test eder. Gerçek Slack hesabı gerekmez.

Ne Zaman Kullan

• Agent/worker/orchestrator değişikliğinden sonra uçtan uca doğrulama
• Kimlik çözümleme (identity resolution) kontrolü
• KB RAG, dosya oluşturma veya web search yeteneği testi
• Deployment sonrası smoke test (post-change-smoke-test.md'ye ek olarak)

Kısıtlamalar

• Salt-okunur test — DB'ye yazma yok (sadece ARQ job + Slack mesajı)
• DC'ye SSH erişimi gerekli (k3s_dc alias ~/.ssh/config'de tanımlı)
• Test kanalı: Slack C0BAADDNCN9 — sonuçlar oraya yazılır
• DC botu socket_mode kullanıyor; HTTP events API çalışmaz

---

Bağlantı (k3s_dc) — ÖNCE BUNU OKU

Bağlantı detayları tek doğruluk kaynağı: proje kökü DEPLOY.md § "QA Ortamına Bağlantı".

Alan	Değer
SSH alias	k3s_dc → svmaisgentst001.getirfinans.local (10.185.63.33)
Direkt komut	ssh -i ~/.ssh/id_getirfinans -o IdentitiesOnly=yes [e-mail]
Bastion	CyberArk PSMP (10.185.30.67) — kurumsal ağda
Kopyalama	scp -O zorunlu (rsync DC ağında tamamen bloklu)
API (DC iç ağından)	curl http://10.185.63.33/health
kubectl	sudo /usr/local/bin/kubectl (DC node'da)

Bağlantı belirti teşhisi (DNS/VPN sanma)

Could not resolve hostname svmaisgentst001... veya connect ... Operation not permitted hatası gördüğünde: bu çoğu zaman DNS/VPN sorunu değildir — komutun çalıştığı ortamın outbound ağ izni yoktur (Claude Code Bash sandbox'ı outbound SSH'ı engeller). Doğrulama: operatör kendi terminalinde ! ssh k3s_dc 'echo ok' çalıştırınca bağlanıyorsa ağ/VPN/DNS sağlıklıdır, sorun yalnızca agent'ın koştuğu kısıtlı ortamdır. Bu durumda komutu outbound ağa izinli bir şekilde çalıştır (örn. operatörden !-prefix ile çalıştırmasını iste, ya da ortamın sandbox kısıtını kaldırması gerekir). VPN/DNS'i suçlamadan önce bunu ele. (2026-06-14: tam olarak bir live-test'i bloklamıştı — "VPN kapalı" sanılan şey ortam ağ kısıtıydı.)

---

Ortam Referansı (DC)

Alan	Değer
SSH alias	k3s_dc
Namespace	apex-ai
Bot DB ID	de729ab2-1283-4f2e-8e01-176a1f61a0f7
Bot Slack UID	U0AQQH5TSMQ
Test kanalı	C0BAADDNCN9
Backend ClusterIP	10.43.52.135:8000
kubectl	sudo /usr/local/bin/kubectl (DC node'da)

---

Akış (Her Test İçin)

1. Backend pod adını bul
2. Test script'lerini pod'a kopyala
3. mock_arq_enqueue.py'yi pod içinde çalıştır
4. Çıktıyı oku ve yorumla
5. Gerekirse worker log'larını kontrol et
6. Sonuçları raporla

---

Adım Adım Çalıştırma

1. Backend Pod Adını Bul

BACKEND_POD=$(ssh k3s_dc 'sudo /usr/local/bin/kubectl get pod -n apex-ai \
  -l app=backend --no-headers -o custom-columns=":metadata.name" | head -1')
echo "Pod: $BACKEND_POD"

Çıktı boşsa: kubectl get pods -n apex-ai | grep backend ile durumu kontrol et.

2. Script'leri Pod'a Kopyala

# Mac → DC node
scp -O mock_tests/mock_arq_enqueue.py k3s_dc:/tmp/mock_arq_enqueue.py
scp -O mock_tests/get_bot_secrets.py  k3s_dc:/tmp/get_bot_secrets.py

# DC node → backend pod
ssh k3s_dc "sudo /usr/local/bin/kubectl cp \
  /tmp/mock_arq_enqueue.py apex-ai/${BACKEND_POD}:/tmp/mock_arq_enqueue.py"
ssh k3s_dc "sudo /usr/local/bin/kubectl cp \
  /tmp/get_bot_secrets.py apex-ai/${BACKEND_POD}:/tmp/get_bot_secrets.py"

3. Testi Çalıştır

ssh k3s_dc "sudo /usr/local/bin/kubectl exec -n apex-ai ${BACKEND_POD} -- \
  env PYTHONPATH=/app python3 /tmp/mock_arq_enqueue.py"

Varsayılan bekleme süresi 55 saniye. Karmaşık sorgular için WAIT_SECONDS=120.

4. Sonuçları Yorumla

Başarılı: ✅ kullanıcı → "bot cevabı..."

Bekleme: ⏳ cevap yok → worker log'una bak (aşağıda)

Enqueue hatası: ❌ → Redis pod çalışıyor mu? kubectl get pod -n apex-ai | grep redis

5. Gerekirse Worker Log'larını Oku

for pod in $(ssh k3s_dc 'sudo /usr/local/bin/kubectl get pod -n apex-ai \
  -l app=worker --no-headers -o custom-columns=":metadata.name"'); do
  echo "=== $pod ==="
  ssh k3s_dc "sudo /usr/local/bin/kubectl logs -n apex-ai $pod --since=5m 2>/dev/null \
    | grep -E '←.*MOCK|status.*ok|auth_required|identity_unresolved|error' | tail -5"
done

---

Özel Test Senaryoları

Tek Soru (tüm kullanıcılara)

ssh k3s_dc "sudo /usr/local/bin/kubectl exec -n apex-ai ${BACKEND_POD} -- \
  env PYTHONPATH=/app TEST_QUESTION='Jira'\''da benim adıma açık ticket var mı?' \
  python3 /tmp/mock_arq_enqueue.py"

Web Search Testi

ssh k3s_dc "sudo /usr/local/bin/kubectl exec -n apex-ai ${BACKEND_POD} -- \
  env PYTHONPATH=/app TEST_QUESTION='Bugünkü USD/TRY döviz kurunu internetten öğren' \
  python3 /tmp/mock_arq_enqueue.py"

Dosya Oluşturma Testi

ssh k3s_dc "sudo /usr/local/bin/kubectl exec -n apex-ai ${BACKEND_POD} -- \
  env PYTHONPATH=/app TEST_QUESTION='Merhaba diye başlayan bir Excel dosyası oluştur ve paylaş' \
  python3 /tmp/mock_arq_enqueue.py"

KB Testi

ssh k3s_dc "sudo /usr/local/bin/kubectl exec -n apex-ai ${BACKEND_POD} -- \
  env PYTHONPATH=/app TEST_QUESTION='GetirFinans güvenlik politikası nedir?' \
  python3 /tmp/mock_arq_enqueue.py"

Orchestrator Routing + Multi-turn Testi

mock_tests/mock_arq_enqueue.py içindeki TEST_USERS listesini düzenle, birden fazla farklı yeteneği test eden sorular koy (KB + dosya + web search).

---

Sonuç Değerlendirme Kriterleri

Durum	Açıklama	Değerlendirme
✅ cevap geldi	Bot normal cevap yazdı	PASS
⏳ worker log'unda auth_required	Kullanıcı MCP bağlantısı yok, bot 🔒 Connect... mesajı yazdı	PASS (doğru davranış)
⏳ worker log'unda ok_orchestrator	Job tamamlandı ama Slack'e yazamadı	FAIL — Slack API token'ını kontrol et
⏳ worker log'unda identity_unresolved	Kullanıcı slack_users tablosunda yok	FAIL — directory sync çalıştı mı?
❌ enqueue edilemedi	Redis bağlantı hatası	FAIL — Redis pod durumunu kontrol et
⏳ 55s sonra cevap yok, log'da iş yok	Worker job'ı almadı	FAIL — USER_QUEUE boş mu? ARQ çalışıyor mu?

---

Yaygın Sorunlar ve Çözümler

listener_type_not_events_api [410]

DC botu socket_mode kullanıyor; mock_slack_test.py çalışmaz. mock_arq_enqueue.py kullan (pod içinden ARQ'ya direkt yazar).

Backend Pod Adı Değişti

Her restart'ta pod adı değişir. Step 1 + 2'yi tekrarla.

embedding_request_failed (log'da)

Embedding server çalışmıyor. KB sorguları başarısız olur ama bot yine de cevap vermeli. Embedding server pod'unu kontrol et: kubectl get pod -n apex-ai | grep embedding.

SQLAlchemy Log Gürültüsü

mock_arq_enqueue.py pod içinde çalışır; SQLAlchemy logları normal. Sonuçlar ===== blokları arasında görünür — kaybolmaz.

DC Master Key ≠ Dev Key

DC ortamındaki APEX_MASTER_KEY dev ortamından farklı. Bot token'ları DC pod içinden decrypt edilir; local makineden get_bot_secrets.py çalıştırılamaz.

---

Detaylı Dokümantasyon

mock_tests/README.md — test suite mimari, kurulum, tüm senaryolar.

---

Agent Olarak Bu Skill'i Kullanan Akış

1. Kullanıcı /apex-live-tests der veya "DC'yi test et" der
2. Bu skill yüklenir
3. Agent bu skill'deki adımları sırayla uygular:
   • Backend pod adını bul
   • Script'leri kopyala (son versiyonu mock_tests/ klasöründen al)
   • mock_arq_enqueue.py'yi çalıştır
   • Çıktıyı oku
   • Worker log'larına bak (gerekirse)
   • Sonuçları ✅/⏳/❌ tablosuyla raporla
4. FAIL varsa kök nedeni logdan bul, raporla