Crawl sozlamalari

Burp Scanner skanerlashlar crawl (saytni aylanib chiqish) bosqichida qanday ishlashini boshqaradigan ko'plab sozlamalarni taklif qiladi. Ushbu sozlamalarni Burp Suite Professional yoki Burp Suite DAST'da skanerlash konfiguratsiyalarini yaratganingizda yoki tahrirlaganingizda tanlashingiz mumkin.

Crawl xatti-harakati

Burp saytingizni skanerlash maqsadlari va nishon ilovaning tabiatiga mos ravishda qanday aylanib chiqishini sozlash uchun ushbu sozlamalardan foydalaning.

Maksimal crawl chuqurligi

Crawler boshlang'ich URL(lar)dan boshlab bajara oladigan navigatsion o'tishlarning (havolalarni bosish va shakllarni yuborish) maksimal sonini belgilang.

Zamonaviy ilovalar navigatsiyani deyarli har bir javobga, masalan menyular va sahifa footerlariga joylashtiradi. Shu sababli, odatda ilova mazmuni va funksionalligining aksariyat qismiga boshlang'ich URL'dan kichik sondagi qadamlar bilan yetib borish mumkin. Ko'p bosqichli jarayonlarni (masalan, mahsulotni ko'rish, uni savatga qo'shish va to'lovni yakunlash) to'liq qamrab olish esa ko'proq qadamlarni talab qiladi.

Ba'zi ilovalarda qiziqarli funksionallikka olib bormaydigan juda uzun navigatsion ketma-ketliklar bo'ladi. Masalan, savdo ilovasida juda ko'p mahsulot kategoriyalari, kichik kategoriyalar va ko'rish filtrlari bo'lishi mumkin. Crawler uchun bu juda chuqur ichma-ich joylashgan havolalar daraxti kabi ko'rinadi va ularning barchasi turlicha mazmun qaytaradi. Biroq bunday navigatsion tuzilmaga chuqur kirib borishning foydasi aniq kamayib boradi. Maksimal crawl chuqurligini kichikroq songa cheklab qo'yish maqsadga muvofiq.

Crawl strategiyasi

Real ilovalar mazmun va navigatsiyani tashkil qilish uslubi, javoblarining o'zgaruvchanligi hamda ilova holatining ko'lami va murakkabligi bo'yicha juda katta farq qiladi.

Bir chekkada, asosan holatsiz (stateless) ilova quyidagilarni qilishi mumkin:

• Har bir alohida funksiya uchun noyob va barqaror URL ishlatish.
• Har bir javobda deterministik mazmun qaytarish.
• Server tomonida hech qanday holat saqlamaslik.

Boshqa tomondan, holatga kuchli bog'liq ilova quyidagilardan foydalanishi mumkin:

• Funksiyaga har safar murojaat qilinganda o'zgaradigan qisqa umrli (ephemeral) URL'lar.
• Turli navigatsion yo'llar orqali turli funksiyalarga olib boradigan ko'p vazifali (overloaded) URL'lar.
• Nodeterministik tarzda o'zgaradigan o'zgaruvchan mazmun.
• Foydalanuvchi harakatlari mazmun va keyingi xatti-harakatning o'zgarishiga olib keladigan funksiyalar.

Crawler bu holatlarning barchasini uddalay oladi. Biroq bu crawl davomida bajariladigan ish hajmiga qo'shimcha yuk yuklaydi. Crawl strategiyasi sozlamasi muayyan ilovalarga nisbatan qo'llaniladigan yondashuvni sozlash imkonini beradi.

Sukut bo'yicha crawl strategiyasi odatiy ilovalar uchun mos bo'lgan tezlik va qamrov o'rtasidagi murosani ifodalaydi. Biroq siz URL'lari barqarorroq va holatga bog'liq funksionalligi yo'q ilovani aylanib chiqayotgan bo'lsangiz, Faster yoki Fastest sozlamasini tanlashingiz mumkin. URL'lari ko'proq o'zgaruvchan yoki holatga bog'liq funksionalligi murakkabroq ilovani aylanib chiqayotganda esa More complete yoki Most complete sozlamasini tanlashingiz mumkin.

Fastest crawl strategiyasi boshqa crawl strategiyalaridan bir qancha muhim jihatlari bilan farq qiladi:

• Burp Scanner nishon ilovaning holatini qayta tiklashga va takrorlashga urinmaydi. U ildiz katalogdan yo'l bo'ylab yurish o'rniga sahifalarni to'g'ridan-to'g'ri so'raydi.
• Burp Scanner cookie jar'idagi cookie'lardan boshlang'ich qiymatlar sifatida foydalanadi. Bu autentifikatsiyalangan crawl'ga sezilarli ta'sir qiladi:
  • Autentifikatsiyalangan crawl'ni bajarish uchun crawl'dan oldin Burp brauzeri yordamida ilovada autentifikatsiyadan o'ting.
  • Agar autentifikatsiyalangan crawl'ni ishga tushirishni istamasangiz, crawl'dan oldin ilovadan chiqing.
• Burp Scanner yangi foydalanuvchini ro'yxatdan o'tkazishga urinmaydi.
• Burp Scanner alohida bosqichda emas, balki potensial login formalarini topgan paytda autentifikatsiyadan o'tishga urinadi. Agar bir nechta to'plam login ma'lumotlarini bersangiz, faqat birinchi to'plam ishlatiladi.

Crawl cheklovlari

Zamonaviy ilovalarni aylanib chiqish holatga bog'liq funksionallik, o'zgaruvchan mazmun va chegarasiz navigatsiya tufayli ba'zan cheksiz mashg'ulotga aylanadi. Skanerlanayotgan ilova haqidagi bilimingizga tayanib, crawl ko'lamiga cheklov sozlab qo'yish maqsadga muvofiq. Burp Scanner crawl uzunligini cheklash ta'sirini kamaytirishga yordam berish uchun crawl'ning boshida noyob mazmunni maksimal darajada aniqlashga qaratilgan turli usullardan foydalanadi.

Siz crawl'ni quyidagilar asosida cheklashingiz mumkin:

• O'tgan vaqt.
• Topilgan noyob joylashuvlar soni. Joylashuv tanlangan crawl strategiyasiga asoslangan holda mazmun yoki funksionallikning alohida birligini ifodalaydi.
• Bajarilgan HTTP so'rovlari soni.

Crawl tarmoq taymautlari

Ushbu sozlamalar crawl uchun taymaut qiymatlarini belgilash imkonini beradi. Bu qiymatlar global sozlamalarda belgilagan qiymatlaringizni bekor qiladi.

Crawl davomida takrorlanuvchi taymautlarni boshqarish

Ushbu sozlamalar Burp Scanner skanerlashning crawl bosqichida takrorlanuvchi so'rov taymautlariga, masalan ulanish uzilishlari yoki uzatish taymautlariga qanday javob berishini boshqaradi.

Quyidagi parametrlarni sozlashingiz mumkin:

• Vazifa pauza qilinishidan oldingi ketma-ket taymautga uchragan so'rovlar soni.
• Vazifa pauza qilinishidan oldingi taymautga uchragan so'rovlarning umumiy foizi.
• Crawl yakunlangach, taymautga uchragan so'rovlarni qayta urinib ko'rish uchun crawler bajaradigan qo'shimcha o'tishlar soni.

Istalgan sozlamani tanlovdan chiqarish uchun uni bo'sh qoldirishingiz mumkin.

Login xatti-harakati

Saytingizni aylanib chiqishda Burp autentifikatsiyani qanday boshqarishini sozlash uchun ushbu sozlamalardan foydalaning.

Faqat autentifikatsiyalangan crawl

Burp autentifikatsiyasiz crawl'ni o'tkazib yuborib, faqat berilgan hisob ma'lumotlaridan foydalanishini tanlang. Burp foydalanuvchilarni o'zi ro'yxatdan o'tkazishga yoki login xatoliklarini keltirib chiqarishga urinmaydi. Bu umumiy crawl vaqtini qisqartirishi mumkin.

Agar login hisob ma'lumotlarini belgilamasangiz, Burp uning o'rniga autentifikatsiyasiz crawl'ni bajaradi.

Agar hisob ma'lumotlarini belgilasangiz-u, ammo ushbu sozlamani yoqmasangiz, Burp saytni ham tizimdan chiqqan, ham tizimga kirgan holatda aylanib chiqadi. Ba'zi hollarda bu autentifikatsiyalangan crawl unchalik ko'p qo'shimcha mazmun topmasligini anglatadi.

Kirish funksiyalarini sinash

Ushbu sozlamalar crawl'ning autentifikatsiyasiz bosqichida crawler login funksionalligi bilan qanday muomala qilishini boshqaradi.

Siz crawler quyidagilarni bajarishi kerakmi yoki yo'qmi degan tanlovni belgilashingiz mumkin:

• Nishon veb-saytda yangi foydalanuvchini o'zi ro'yxatdan o'tkazishga urinish. Bu crawl'dan oldin foydalanuvchi hisobini qo'lda sozlash zaruratini yo'qotadi. Siz baribir skanerlashni ishga tushirish sozlamalarida haqiqiy ilova loginlarini kiritishingiz mumkin.
• Login xatoliklarini ataylab keltirib chiqarish uchun noto'g'ri foydalanuvchi nomlaridan foydalanish. Bu odatda faqat foydalanuvchi noto'g'ri hisob ma'lumotlarini yuborganda kirish mumkin bo'lgan hisobni tiklash imkoniyatlariga yetib borishga yordam beradi. Burp Scanner siz ilova logini sifatida bergan foydalanuvchi nomlarining hech biri uchun ataylab noto'g'ri parol yubormaydi. Bu ushbu hisoblarda hisobni bloklash mexanizmlarini ishga tushirmaslik uchun qilinadi.

API crawling

Ushbu sozlamalar saytingizni aylanib chiqishda Burp API'larni qanday aniqlashi va o'rganishini sozlash imkonini beradi:

• Parse API definitions - Burp Scanner skanerlash uchun mumkin bo'lgan endpointlarni aniqlash maqsadida duch kelgan API ta'riflarini tahlil qilishga urinishini boshqaradi. Qo'shimcha ma'lumot uchun API skanerlash hujjatlariga murojaat qiling.
• Parse SOAP WSDL definitions - Burp Scanner skanerlashga kiritish uchun SOAP amallari va endpointlarini aniqlash maqsadida crawl paytida topgan SOAP WSDL fayllarini tahlil qilishini boshqaradi.
• Perform GraphQL introspection - Burp Scanner crawl paytida topgan GraphQL endpointlarida introspeksiya so'rovlarini bajarishini boshqaradi.
• Test common GraphQL endpoints - Burp Scanner keng tarqalgan endpoint suffikslari ro'yxati yordamida GraphQL endpointlarini taxmin qilishga urinishini boshqaradi. Ushbu sozlama faqat Perform GraphQL introspection tanlangan bo'lsa mavjud bo'ladi. E'tibor bering, agar Burp Scanner crawl davomida allaqachon GraphQL endpointini topgan bo'lsa, u GraphQL endpointlarini taxmin qilishga urinmaydi.

Brauzer xatti-harakati

Ushbu sozlamalar Burp brauzerining xatti-harakatini boshqarish imkonini beradi:

• Use Burp's browser for Crawl and Audit - Ushbu sozlama Burp Scanner nishon saytda harakatlanish uchun Burp brauzeridan foydalanishini boshqaradi. Bu brauzerga asoslangan skanerlash (browser-powered scanning) deb ataladi. Sukut bo'yicha Burp Scanner Burp brauzeridan faqat kompyuteringiz brauzerga asoslangan skanerlash uchun talab qilinadigan xususiyatlarga javob beradigan ko'rinsa foydalanadi. Ushbu sozlama Burp Scanner'ni brauzerdan foydalanishga majburlash yoki brauzerga asoslangan skanerlashni butunlay o'chirish imkonini beradi. Brauzerga asoslangan skanerlash o'chirilgan bo'lsa, skanerlashlar eski crawl mexanizmidan foydalanadi.
• Customize User-Agent header - Maxsus User-Agent sarlavhasini belgilash imkonini beradi.
• Fetch required resources and data from out-of-scope hosts - Ushbu sozlama Burp Scanner zarur bo'lganda qamrovdan tashqaridagi xostlarga so'rov yuborishini boshqaradi. Veb-saytlar to'g'ri ishlashi uchun ko'pincha brauzerdan tashqi manbalarda joylashgan quyi resurslarni yuklashni yoki API'dan ma'lumot olishni talab qiladi. Skanerlashlaringiz qamrovini maksimal darajaga yetkazishga yordam berish uchun bunday so'rovlarga ruxsat bering. Qamrovdan tashqaridagi so'rovlar audit qilinmaydi.
• Read timeout for site resources - Ushbu sozlama crawl davomida quyi resurslarni yuklashga urinayotganda crawler necha millisekund kutishini belgilaydi.

Aniqlash mantiqi

Ushbu sozlamalar crawl davomida Burp turli xil mazmun turlarini qanday aniqlashi va ular bilan qanday muomala qilishini moslashtirish imkonini beradi:

• Submit forms - Burp Scanner crawl davomida shakllarni yuborishini boshqaradi.
• Request robots file - Burp Scanner nishonning robots.txt faylini olib, undan havolalarni ajratib olishi kerakmi yoki yo'qmi shuni boshqaradi.
• Request site map - Burp Scanner nishonning sitemap.xml faylini olib, undan havolalarni ajratib olishi kerakmi yoki yo'qmi shuni boshqaradi. Siz ajratib olinadigan elementlarning maksimal sonini sozlashingiz mumkin.
• Follow hidden links in comments and JavaScript - Sahifa navigatsiyasida ko'rinmaydigan URL'larni topish uchun HTML izohlari va JavaScript tahlil qilinishini boshqaradi. Siz ajratib olinadigan elementlarning maksimal sonini sozlashingiz mumkin.
• Click all pointer clickable elements - Ushbu sozlama Burp Scanner pointer kursor bilan stillangan barcha elementlarni, masalan cursor: pointer ishlatadigan elementlarni bosishini boshqaradi. Bu standart havola yoki tugma bo'lmagan interaktiv elementlarni aniqlashga yordam berishi mumkin. Nishon ilovaning tuzilishi va stillanishiga qarab, ushbu sozlamani yoqish umumiy skanerlash vaqtini oshirishi mumkin.
• Application uses fragments for routing - Bir sahifali ilovalar (SPA) ko'pincha mijoz tomonidagi marshrutlash uchun URL fragmentlaridan foydalanadi. Bu ularga brauzer serverga qo'shimcha so'rov yubormasdan bir nechta alohida sahifadek ko'rinadigan narsalarni ko'rsatish imkonini beradi. Burp Scanner nishon ilovani samarali aylanib chiqishi uchun u fragmentlardan shu tarzda foydalanadimi yoki yo'qmi bilishi kerak. Sukut bo'yicha, agar fragment quyidagi belgilardan birortasini o'z ichiga olsa, Burp Scanner uni mijoz tomonidagi marshrutlash uchun ishlatilyapti deb hisoblaydi: / \ ? = &. Biroq siz ushbu sozlama yordamida bu funksiyani qo'lda boshqarishingiz mumkin.