Nasıl çalışır

Jira story'sinden onaylı Playwright testine, her adımda bir onay kapısıyla

AI Testing Probe bir gereksinimi altı aşamadan geçirir: gereksinim, ön inceleme, test senaryoları, kod, CI ve triage. Her aşamada taslağı yapay zekâ (AI) hazırlar, kararı adı belli bir kişi verir; deterministik sistem adımları koşturur, denetler ve kaydeder. Çıktılar kendi Jira'nızda, Xray'inizde ve Git reponuzda kalır.

Akış

Altı aşama, her adımın sahibi belli

Her adımda ne olduğu, kimin yaptığı, hangi araçta kaldığı ve ne ürettiği yazılıdır.

  1. Aşama 1

    Gereksinim

    Bir Jira story'si (Jira kullanıcı hikâyesi) ya da serbest metin gereksinim, kabul kriterleriyle birlikte akışa girer.

    1. Story'yi çekme

      Analist, tanımlı Jira projesinden story'leri çeker. Platform Jira'yı yalnız okuma yetkili ayrı bir hesapla okur. Jira'da olmayan gereksinimler serbest metin olarak yapıştırılabilir.

      Kim
      İnsanSistem
      Nerede kalır
      Jira Cloud (salt okunur)
      Çıktı
      Kabul kriterleriyle birlikte, Jira kaydına bağlı bir gereksinim

    Doküman: Gereksinim ön incelemesi

  2. Aşama 2

    Ön inceleme ve tutarlılık denetimi

    Daha tek bir test yazılmadan yapay zekâ story'yi inceler ve uygulamayla karşılaştırır. Her bulgu kanıtıyla gelir.

    1. Ön inceleme

      Demoda gösterilir

      Yapay zekâ story'de belirsizlik, eksik kabul kriteri ve çelişki arar. Story içeriği güvenilmeyen veri olarak işlenir; çıktı bir JSON şemasına uymak zorundadır.

      Kim
      AI
      Nerede kalır
      AI Testing Probe
      Çıktı
      Taslak bulgular
    2. Tutarlılık denetimi

      Demoda gösterilir

      Yapay zekâ story'yi, salt okunur token ile okunan uygulama koduyla ve kısıtlı, maskelenmiş salt okunur sorguların sonuçlarıyla karşılaştırır. Her bulgu bir dosya ve satıra ya da bir sorgu sonucuna dayanır. Platform bu kanıtı modelsiz yeniden doğrular; doğrulanamayan bulguyu hiç göstermez.

      Kim
      AISistem
      Nerede kalır
      Reponuz ve veritabanınız, salt okunur
      Çıktı
      Kanıtlı bulgular
    3. Karar ve onay

      Analist her bulgu için "doküman düzeltilsin" ya da "kod veya veri hatalı" kararı verir. Doküman düzeltmeleri, projeyle sınırlı bir yazma hesabıyla Jira'ya yazılır; kod hataları bug taslağına dönüşür. Düzeltilmiş story'yi ürün sahibi Jira'da onaylar.

      Kim
      İnsanSistem
      Nerede kalır
      Review portalı ve Jira
      Çıktı
      Onaylı story ve kod hataları için bug taslakları

    Doküman: Gereksinim ön incelemesi

  3. Aşama 3

    Test senaryoları

    Yapay zekâ onaylı story'den test senaryosu (test case) taslakları hazırlar. Test yönetim aracınıza yalnız onaylanmış ve sonradan değişmemiş case'ler gider.

    1. Taslak case

      Demoda gösterilir

      Yapay zekâ sabit bir şemada pozitif, negatif ve sınır değer case'leri hazırlar. Her case kapsadığı kabul kriterlerine bağlanır; hiçbir case'in kapsamadığı kriterler ayrıca listelenir.

      Kim
      AI
      Nerede kalır
      AI Testing Probe
      Çıktı
      AI-generated etiketli taslak case'ler
    2. Review

      Analist her case'i onaylar, düzenler ya da reddeder. Düzenlemeler alan düzeyinde fark olarak saklanır; her onay case'in içerik hash'ine bağlanır.

      Kim
      İnsan
      Nerede kalır
      Review portalı
      Çıktı
      Onaylı test case'ler
    3. Yayın

      Yayın önizlemesi önce her işlemi yazmadan listeler. Ardından onaylı case'ler Jira Test kayıtlarına ya da Xray Cloud'a yazılır ve story'ye bağlanır.

      Kim
      İnsanSistem
      Nerede kalır
      Jira veya Xray Cloud
      Çıktı
      Bağlı test case'ler; story yorumunda denetim zinciri hash'i

    Doküman: Test senaryoları

  4. Aşama 4

    Kod

    Onaylı case'ler reponuzda saf Playwright testlerine dönüşür; her biri bilerek kırılan uygulamada sınanır.

    1. Adımları uygulamada doğrulama

      Demoda gösterilir

      Bir ajan, izinli tarayıcı araçlarıyla adımları çalışan uygulamada tek tek yürür ve her adımı page object kütüphanenizdeki bir sembole eşler. Bilinen bir sembole uymayan locator (sayfa öğesi seçicisi) case'i durdurur ve insana gönderir.

      Kim
      AISistem
      Nerede kalır
      Test ortamınız
      Çıktı
      Doğrulanmış adım–page object eşlemesi
    2. Şablonu doldurma

      Model TypeScript yazmaz. Spec dosyası şablondan üretilir, değerler tip denetimli sabitler olarak girer, doğrulama değerleri onaylı case'ten gelir. PR açılmadan önce derleyici, linter ve AST koruması çalışır.

      Kim
      Sistem
      Nerede kalır
      Toolchain
      Çıktı
      Case başına bir spec dosyası, PR (pull request, kod birleştirme isteği) olarak
    3. Kırarak Doğrula (Break-to-Verify)

      Demoda gösterilir

      Test önce normal uygulamada, sonra kontrollü bir hata açıkken, sonra yine normal uygulamada koşar. Uygulama kırıkken yeşil kalan test ancak açık ve kayda geçen bir kabul notuyla merge edilebilir.

      Kim
      Sistem
      Nerede kalır
      İzole test koşucusu
      Çıktı
      PR'da geçti, zayıf ya da başarısız sonucu
    4. Review ve merge

      Mühendis kodu ve eşleme tablosunu review eder, korumalı main dalınız üzerinden merge eder. Platformun botu PR açar ama asla merge etmez.

      Kim
      İnsan
      Nerede kalır
      GitHub
      Çıktı
      Reponuzda merge edilmiş saf Playwright testi

    Doküman: Kod üretimi

  5. Aşama 5

    CI

    CI (sürekli entegrasyon) pipeline'ınız yalnız onaylı ve deterministik testleri koşar; içinde model yoktur.

    1. Onaylı seti koşma

      Aynı test seti PR, push, deploy ve gece tetikleyicileriyle koşar. CI ve test imajlarında model anahtarı, ajan ya da model SDK'sı yoktur; bunu otomatik bir güvenlik denetimi doğrular.

      Kim
      Sistem
      Nerede kalır
      GitHub Actions (Sauce Labs bulut koşuları: Yol haritası)
      Çıktı
      Standart JUnit XML, Allure ve Playwright raporları
    2. Sonuçları toplama

      Demoda gösterilir

      Platform her koşuyu bulur, çıktılarını indirir, sonucu PR'a tek bir yorum olarak yazar ve Kontrol Kulesi'nde gösterir.

      Kim
      Sistem
      Nerede kalır
      Kontrol Kulesi (Control Tower)
      Çıktı
      Story, PR ve koşular boyunca koşu geçmişi

    Doküman: Mimari

  6. Aşama 6

    Triage

    Hatalar önce kurallarla, sonra yapay zekâyla sınıflanır; her düzeltme review'dan geçer.

    1. Hatayı sınıflama

      Demoda gösterilir

      Hatayı önce deterministik kurallar sınıflar. Model, hata ayrıntıları ve log parçalarıyla yalnız hiçbir kural eşleşmediğinde çağrılır.

      Kim
      SistemAI
      Nerede kalır
      AI Testing Probe
      Çıktı
      Sınıflanmış hata
    2. Onarım PR'ı

      Bir öğenin testId'si değişip rolü ve erişilebilir adı aynı kaldığında platform yalnız testId'yi değiştiren bir PR önerir. Bir insan review edip merge eder. Hiçbir şey sessizce iyileştirilmez.

      Kim
      Sistemİnsan
      Nerede kalır
      GitHub
      Çıktı
      Review edilmiş onarım PR'ı
    3. Bug taslağı

      Beklenen sonucun gerçekleşenden farklı olduğu hata asla onarılmaz. Önce mevcut kayıtlarda mükerrer araması yapılan bir bug taslağına dönüşür. Test uzmanı onu açar, mevcut kayda bağlar, düzenler ya da reddeder.

      Kim
      AIİnsan
      Nerede kalır
      Jira
      Çıktı
      Açılmış ya da bağlanmış bug kaydı

    Doküman: Kavramlar

Temel kural

Hiçbir AI çıktısı insan onayı olmadan test varlığına dönüşmez. Her AI çağrısı, onay ve ret hash zincirli denetim kaydında tutulur.

Veri akışı

Ne nereye gider, modele ne ulaşır

Platform sizin ortamınızda çalışır. Modeli yalnız tek bir servis çağırır ve yalnız o adımın ihtiyaç duyduğu veriyi gönderir.

Araçlarınız, AI Testing Probe ve model sağlayıcı arasındaki veri akışı Solda Jira ve Xray, Git reponuz, test edilen uygulama ve uygulama veritabanı yer alır. Ortada sizin ortamınızda çalışan AI Testing Probe vardır: model geçidini barındıran Core worker, review portalı ve izole test koşucusu. Sağda bugün Anthropic Claude olan model sağlayıcı bulunur; ona yalnız Core worker erişir. Numaralı oklar şemanın altındaki listeyle eşleşir. Araçlarınız AI Testing Probe · sizin ortamınız Model sağlayıcı Jira / Xray story, case, bug Git repo + CI saf Playwright, AI yok Test edilen uygulama test ortamı Uygulama veritabanı salt okunur rol Core worker model geçidi · tek AI çağıran Review portalı kişiler onaylar, merge eder Test koşucusu internetsiz, sırsız Anthropic Claude değiştirilebilir model geçidi 1 2 3 4 5

Numaralı akışlar

  1. Story'ler ve kabul kriterleri salt okunur bir hesapla okunur. Düzeltmeler, onaylı case'ler ve bug'lar ancak insan kararından sonra, projeyle sınırlı bir yazma hesabıyla geri yazılır.
  2. Uygulama kodu salt okunur token ile okunur. Üretilen testler ve onarımlar, asla merge etmeyen bir GitHub App'ten PR olarak gelir.
  3. Veri denetimleri salt okunur bir rol üzerinden, izinli tablo ve kolonlarda, satır ve süre sınırlı tek SELECT sorgularıyla yapılır; sonuçlar maskelenir.
  4. Core worker modele yalnız o adımın ihtiyaç duyduğu veriyi gönderir. Taslaklar JSON şemasına uygun dönmek zorundadır ve bir kişi onaylamadan hiçbiri test varlığına dönüşmez.
  5. Üretilen testler, internet erişimi ve sırrı olmayan bir koşucudan test ortamınıza karşı koşar. CI'da aynı onaylı testler hiçbir model olmadan koşar.
Her adımda modele ne gider
AdımModele giderGitmez
Gereksinim ön incelemesiStory metni, kabul kriterleri ve ürün sahibinin yanıtlarıKimlik bilgileri, veritabanı erişimi
Tutarlılık denetimiReponuzdaki ilgili kod ve kısıtlı sorguların maskelenmiş sonuçlarıHam veritabanı içeriği, yazma yetkisi
Test case üretimiOnaylı story, kabul kriterleri, ürün sahibi yanıtları ve test verisiOnaylanmamış story sürümleri
Kod üretimiCase adımları ve ajanın izinli tarayıcı araçlarıyla gördüğü sayfaEkran görüntüleri (review edenler için kanıt olarak saklanır)
Triage ve bug taslağıHata ayrıntıları ve CI log parçaları, yalnız hiçbir kural sınıflayamadığındaBir kuralın zaten sınıfladığı hatalar
CI koşularıHiçbir şey. CI'da model çalışmaz.Her şey

Mimariyi okuyun: servisler, ağ izolasyonu ve model geçidi

Tek bir story ile başlayın.

30 dakikalık görüşmede altyapınıza ve birkaç story'nize birlikte bakıyor, pilotun size uyup uymadığını açıkça söylüyoruz.