Nasıl çalışır
Jira story'sinden onaylı Playwright testine, her adımda bir onay kapısıyla
AI Testing Probe bir gereksinimi altı aşamadan geçirir: gereksinim, ön inceleme, test senaryoları, kod, CI ve triage. Her aşamada taslağı yapay zekâ (AI) hazırlar, kararı adı belli bir kişi verir; deterministik sistem adımları koşturur, denetler ve kaydeder. Çıktılar kendi Jira'nızda, Xray'inizde ve Git reponuzda kalır.
Akış
Altı aşama, her adımın sahibi belli
Her adımda ne olduğu, kimin yaptığı, hangi araçta kaldığı ve ne ürettiği yazılıdır.
-
Aşama 1
Gereksinim
Bir Jira story'si (Jira kullanıcı hikâyesi) ya da serbest metin gereksinim, kabul kriterleriyle birlikte akışa girer.
-
Story'yi çekme
Analist, tanımlı Jira projesinden story'leri çeker. Platform Jira'yı yalnız okuma yetkili ayrı bir hesapla okur. Jira'da olmayan gereksinimler serbest metin olarak yapıştırılabilir.
-
-
Aşama 2
Ön inceleme ve tutarlılık denetimi
Daha tek bir test yazılmadan yapay zekâ story'yi inceler ve uygulamayla karşılaştırır. Her bulgu kanıtıyla gelir.
-
Ön inceleme
Demoda gösterilirYapay zekâ story'de belirsizlik, eksik kabul kriteri ve çelişki arar. Story içeriği güvenilmeyen veri olarak işlenir; çıktı bir JSON şemasına uymak zorundadır.
-
Tutarlılık denetimi
Demoda gösterilirYapay zekâ story'yi, salt okunur token ile okunan uygulama koduyla ve kısıtlı, maskelenmiş salt okunur sorguların sonuçlarıyla karşılaştırır. Her bulgu bir dosya ve satıra ya da bir sorgu sonucuna dayanır. Platform bu kanıtı modelsiz yeniden doğrular; doğrulanamayan bulguyu hiç göstermez.
-
Karar ve onay
Analist her bulgu için "doküman düzeltilsin" ya da "kod veya veri hatalı" kararı verir. Doküman düzeltmeleri, projeyle sınırlı bir yazma hesabıyla Jira'ya yazılır; kod hataları bug taslağına dönüşür. Düzeltilmiş story'yi ürün sahibi Jira'da onaylar.
-
-
Aşama 3
Test senaryoları
Yapay zekâ onaylı story'den test senaryosu (test case) taslakları hazırlar. Test yönetim aracınıza yalnız onaylanmış ve sonradan değişmemiş case'ler gider.
-
Taslak case
Demoda gösterilirYapay zekâ sabit bir şemada pozitif, negatif ve sınır değer case'leri hazırlar. Her case kapsadığı kabul kriterlerine bağlanır; hiçbir case'in kapsamadığı kriterler ayrıca listelenir.
-
Review
Analist her case'i onaylar, düzenler ya da reddeder. Düzenlemeler alan düzeyinde fark olarak saklanır; her onay case'in içerik hash'ine bağlanır.
-
Yayın
Yayın önizlemesi önce her işlemi yazmadan listeler. Ardından onaylı case'ler Jira Test kayıtlarına ya da Xray Cloud'a yazılır ve story'ye bağlanır.
-
-
Aşama 4
Kod
Onaylı case'ler reponuzda saf Playwright testlerine dönüşür; her biri bilerek kırılan uygulamada sınanır.
-
Adımları uygulamada doğrulama
Demoda gösterilirBir ajan, izinli tarayıcı araçlarıyla adımları çalışan uygulamada tek tek yürür ve her adımı page object kütüphanenizdeki bir sembole eşler. Bilinen bir sembole uymayan locator (sayfa öğesi seçicisi) case'i durdurur ve insana gönderir.
-
Şablonu doldurma
Model TypeScript yazmaz. Spec dosyası şablondan üretilir, değerler tip denetimli sabitler olarak girer, doğrulama değerleri onaylı case'ten gelir. PR açılmadan önce derleyici, linter ve AST koruması çalışır.
-
Kırarak Doğrula (Break-to-Verify)
Demoda gösterilirTest önce normal uygulamada, sonra kontrollü bir hata açıkken, sonra yine normal uygulamada koşar. Uygulama kırıkken yeşil kalan test ancak açık ve kayda geçen bir kabul notuyla merge edilebilir.
-
Review ve merge
Mühendis kodu ve eşleme tablosunu review eder, korumalı main dalınız üzerinden merge eder. Platformun botu PR açar ama asla merge etmez.
-
-
Aşama 5
CI
CI (sürekli entegrasyon) pipeline'ınız yalnız onaylı ve deterministik testleri koşar; içinde model yoktur.
-
Onaylı seti koşma
Aynı test seti PR, push, deploy ve gece tetikleyicileriyle koşar. CI ve test imajlarında model anahtarı, ajan ya da model SDK'sı yoktur; bunu otomatik bir güvenlik denetimi doğrular.
-
Sonuçları toplama
Demoda gösterilirPlatform her koşuyu bulur, çıktılarını indirir, sonucu PR'a tek bir yorum olarak yazar ve Kontrol Kulesi'nde gösterir.
-
-
Aşama 6
Triage
Hatalar önce kurallarla, sonra yapay zekâyla sınıflanır; her düzeltme review'dan geçer.
-
Hatayı sınıflama
Demoda gösterilirHatayı önce deterministik kurallar sınıflar. Model, hata ayrıntıları ve log parçalarıyla yalnız hiçbir kural eşleşmediğinde çağrılır.
-
Onarım PR'ı
Bir öğenin testId'si değişip rolü ve erişilebilir adı aynı kaldığında platform yalnız testId'yi değiştiren bir PR önerir. Bir insan review edip merge eder. Hiçbir şey sessizce iyileştirilmez.
-
Bug taslağı
Beklenen sonucun gerçekleşenden farklı olduğu hata asla onarılmaz. Önce mevcut kayıtlarda mükerrer araması yapılan bir bug taslağına dönüşür. Test uzmanı onu açar, mevcut kayda bağlar, düzenler ya da reddeder.
-
Temel kural
Hiçbir AI çıktısı insan onayı olmadan test varlığına dönüşmez. Her AI çağrısı, onay ve ret hash zincirli denetim kaydında tutulur.
Veri akışı
Ne nereye gider, modele ne ulaşır
Platform sizin ortamınızda çalışır. Modeli yalnız tek bir servis çağırır ve yalnız o adımın ihtiyaç duyduğu veriyi gönderir.
Numaralı akışlar
- Story'ler ve kabul kriterleri salt okunur bir hesapla okunur. Düzeltmeler, onaylı case'ler ve bug'lar ancak insan kararından sonra, projeyle sınırlı bir yazma hesabıyla geri yazılır.
- Uygulama kodu salt okunur token ile okunur. Üretilen testler ve onarımlar, asla merge etmeyen bir GitHub App'ten PR olarak gelir.
- Veri denetimleri salt okunur bir rol üzerinden, izinli tablo ve kolonlarda, satır ve süre sınırlı tek SELECT sorgularıyla yapılır; sonuçlar maskelenir.
- Core worker modele yalnız o adımın ihtiyaç duyduğu veriyi gönderir. Taslaklar JSON şemasına uygun dönmek zorundadır ve bir kişi onaylamadan hiçbiri test varlığına dönüşmez.
- Üretilen testler, internet erişimi ve sırrı olmayan bir koşucudan test ortamınıza karşı koşar. CI'da aynı onaylı testler hiçbir model olmadan koşar.
| Adım | Modele gider | Gitmez |
|---|---|---|
| Gereksinim ön incelemesi | Story metni, kabul kriterleri ve ürün sahibinin yanıtları | Kimlik bilgileri, veritabanı erişimi |
| Tutarlılık denetimi | Reponuzdaki ilgili kod ve kısıtlı sorguların maskelenmiş sonuçları | Ham veritabanı içeriği, yazma yetkisi |
| Test case üretimi | Onaylı story, kabul kriterleri, ürün sahibi yanıtları ve test verisi | Onaylanmamış story sürümleri |
| Kod üretimi | Case adımları ve ajanın izinli tarayıcı araçlarıyla gördüğü sayfa | Ekran görüntüleri (review edenler için kanıt olarak saklanır) |
| Triage ve bug taslağı | Hata ayrıntıları ve CI log parçaları, yalnız hiçbir kural sınıflayamadığında | Bir kuralın zaten sınıfladığı hatalar |
| CI koşuları | Hiçbir şey. CI'da model çalışmaz. | Her şey |
Tek bir story ile başlayın.
30 dakikalık görüşmede altyapınıza ve birkaç story'nize birlikte bakıyor, pilotun size uyup uymadığını açıkça söylüyoruz.