Başla
Hızlı başlangıç
AI Testing Probe, Jira story’lerini kendi reponuzda onaylı Playwright testlerine dönüştürür. Her adımın taslağını yapay zekâ (AI) hazırlar, kararı adı belli bir kişi verir; CI’da koşan testlerde yapay zekâ yoktur. Bu sayfa altı aşamayı anlatır ve örnek bir story’yi baştan sona izler.
AI Testing Probe nedir
AI Testing Probe, denetimli bir test mühendisliği platformudur. Bir gereksinimi (Jira story’si, yani kullanıcı hikâyesi, ya da serbest metin) alır ve insan kapılarıyla ilerleyen bir akıştan geçirerek çalıştırılabilir, bakımı yapılabilir bir Playwright testine dönüştürür.
Platform üç kurala dayanır:
- Hiçbir yapay zekâ çıktısı insan onayı olmadan test varlığına dönüşmez. Bulgular, test senaryoları (test case), kod, onarımlar ve bug kayıtları, ilgili rol onaylayana kadar taslaktır.
- Her yapay zekâ çağrısı, araç çağrısı, onay ve ret hash zincirli, yalnızca eklemeli bir denetim kaydına yazılır.
- CI’da yapay zekâ çalışmaz. CI (sürekli entegrasyon) yalnızca onaylı, deterministik test kodunu koşturur. CI ve test imajlarında model anahtarı, ajan ya da model SDK’sı bulunmaz.
Çıktılar sizin araçlarınızda kalır: test case’ler Jira’ya veya Xray’e, test kodu Git reponuza PR (pull request, değişiklik isteği) olarak gider; sonuçlar standart JUnit XML ve Allure raporlarıyla döner. Üretilen kod sizin page object’lerinizi kullanan saf Playwright’tır, platform olmadan da çalışmaya devam eder.
Altı aşama
Her aşamanın bir yapay zekâ, bir insan ve bir sistem tarafı vardır.
| Aşama | Ne olur | Kim karar verir |
|---|---|---|
| 1. Gereksinim | Story Jira’dan salt okunur biçimde çekilir ya da serbest metin olarak girilir. | Sistem |
| 2. Ön inceleme ve tutarlılık denetimi | Yapay zekâ belirsizlikleri, eksik kabul kriterlerini ve çelişkileri bulur; story’yi uygulamanın koduyla ve verisiyle karşılaştırır. Her bulgunun kanıtı vardır. | Analist karar verir; ürün sahibi (PO) Jira’da onaylar |
| 3. Test case’ler | Yapay zekâ kabul kriterlerine bağlı case taslakları hazırlar. | Analist inceler ve yayınlar |
| 4. Playwright kodu | Bir ajan her adımı çalışan uygulamada doğrular; kod şablona doldurulur ve PR olarak açılır. Kırarak Doğrula (Break-to-Verify), testin bir hatayı yakaladığını denetler. | Mühendis inceler ve merge eder |
| 5. CI | Onaylı testler PR, push, deploy ve gece tetiklerinde koşar. Sonuçlar Kontrol Kulesi’ne gider. | Sistem |
| 6. Triage | Hatalar önce deterministik kurallarla, sonra yapay zekâyla sınıflanır. Locator (eleman bulucu) kırılmasına onarım PR’ı, gerçek hataya bug taslağı hazırlanır. | Mühendis onarımı merge eder; testçi bug’ı açar |
Bir story, uçtan uca
Bu anlatımda uydurma bir örnek kullanılıyor: Acme Retail web mağazası ve STORY-142 Sipariş iptali story’si. Story’ye göre müşteri, sipariş kargoya verilene kadar iptal edebilir, ödemesi asıl ödeme yöntemine iade edilir ve bir onay e-postası alır.
- Analist STORY-142’yi Jira’dan çeker. Platform açıklamayı ve AC1–AC4 kabul kriterlerini gösterir.
- Analist ön incelemeyi başlatır. Yapay zekâ, story’nin 24 saatlik iptal süresi tanıdığını, kodun ve ayar tablosunun ise daha kısa bir süreye izin verdiğini bildirir. AC3’teki onay e-postasının kodda olmadığını da raporlar. Her bulgu bir dosya ve satıra ya da salt okunur bir sorgu sonucuna bağlanır.
- Analist bir bulgu için “dokümanı düzelt”, diğeri için “kod hatalı” kararını verir. Doküman düzeltmeleri Jira’ya yazılır; kod hatası bug taslağına dönüşür. Ürün sahibi Jira’da cevap verir ve onay etiketini ekler.
- Yapay zekâ test case taslaklarını hazırlar. Analist her birini onaylar, düzeltir ya da reddeder; onaylıları Jira’ya veya Xray’e yayınlar.
- Mühendis onaylı case’ler için Playwright kodu üretir. Her case ayrı bir PR olur.
- Kırarak Doğrula her testi önce normal uygulamada, sonra bilerek bozulmuş uygulamada, sonra yine normal uygulamada koşturur. Mühendis merge eder, gerisini CI devralır.
Pilot için neler gerekir
Pilot genellikle tek bir web uygulaması ve birkaç gerçek story ile başlar. Gerekenler:
- Bir Jira Cloud projesi ve kabul kriterleri yazılmış story’ler. Xray Cloud isteğe bağlıdır; yoksa case’ler Jira Test kaydı olarak yayınlanır.
- Test kodu için bir GitHub reposu ve GitHub Actions. Platform PR’ları bir GitHub App üzerinden açar, hiçbir zaman merge etmez.
- Uygulamada bir Playwright page object kütüphanesi ve kararlı testId’ler. Henüz yoksa, bunları kurmak pilotun ilk adımıdır.
- Uygulamanın bir test ortamı; platformun tarayıcı ajanı ve test koşucusu buna erişebilmelidir.
- Platform servisleri için Docker kurulu bir Linux sunucu. Bugün platform tek sunucuya Docker Compose ile kurulur.
- Bir model sağlayıcı hesabı. Bugün bu, model geçidi üzerinden Anthropic Claude’dur.
Pilotlar sentetik ya da prod dışı veriyle yapılır. Hesaplar ve izinler için Entegrasyon kurulumu, kapsam için Pilot sayfasına bakın.
Olgunluk etiketleri nasıl okunur
Bu sitedeki her yetenek üç etiketten birini taşır. Etiket başlıkların yanında metin olarak da yazılır; böylece arama sonuçlarında ve Ask AI yanıtlarında da görünür.
- Canlı doğrulandı: Canlı modelle değerlendirildi ve Jira Cloud, Xray, GitHub, GitHub Actions gibi gerçek sistemlerde koştu. Kanıt ve tarih Yetenekler sayfasında listelenir.
- Demoda gösterilir: Uçtan uca çalışır ve demolarda gösterilir; ya canlı bir platformda ya da kayıtlı model çıktılarıyla (REPLAY kipi). Canlı model değerlendirmesi tamamlanmamıştır.
- Yol haritası: Henüz yok ya da yalnızca tasarımda. Yol haritası maddeleri tanıtılır, ama hiçbir zaman “nasıl yapılır” adımlarıyla anlatılmaz.
Demolar REPLAY kipinde koşabilir. REPLAY’de her yapay zekâ adımının çıktısı, girdisi doğrulanmış ve önceden hazırlanmış bir kayıttan gelir; arayüz bu tür her çıktıyı REPLAY rozetiyle işaretler. Model geçidi, kayıt, şema doğrulaması ve insan kapıları canlı kiptekiyle aynı kod yolundan geçer. Her etiketin güncel ve tek kaynağı Yetenekler sayfasıdır.
Sonra nereye
Dokümantasyon dört grupta düzenlenmiştir.
- Başla: Bu sayfa ve Onay Kapıları’nı (Approval Gates), rolleri, kanıtlı bulguları ve denetim kaydını tanımlayan Kavramlar.
- Akış: Gereksinim ön incelemesi, Test senaryoları, Kod üretimi ve Kırarak Doğrula; her aşama için bir sayfa ve her rolün verdiği kararlar.
- Platform: Mimari servisleri, ağ izolasyonunu, model geçidini ve modele hangi verinin gittiğini anlatır.
- Kurulum: Entegrasyon kurulumu, Jira Cloud, Xray, GitHub ve Sauce Labs (Yol haritası) için gerekenleri en az yetki ilkesiyle listeler.
Güvenlik değerlendirmesi yapıyorsanız, veri akışını, izolasyonu ve denetimi inceleyiciler için özetleyen Güvenlik sayfasıyla başlayın. Fiyat, süre ya da taahhüt soruları için iletişim sayfasını kullanın; bu konular pilot görüşmesinde netleşir.
Güncellendi: