Merhaba,
her iki yanında / işareti olmasından bahsettiniz sanırım, geneld bunlar klasör oluyor sonunda / olmayanlar sayfa yada içerikten oluşuyor yada site haritası gibi yapısını tam olarak eklenmiş oluyor.
Örnek sitemap.xml , admin-ajax.php gibi. şöyle söylenebilir, klasör seçildiğinde Disallow ise tüm içerik dahil indexlenme kapalı olur ve arama sonuçlarında çıkmaz, örnek WordPress için uploads Disallow olduğunda resimler indexlenme kapalı olur. yada oraya /uploads/2020/ yazarsanız 2020 yılında eklenen tüm dosyalar indexlenme kapalı olur gibi düşünülebilir.