Programowanie - dyskusje pozostałe

pytanko dot. steczek

Started by zywek 12 posts last post 4 years ago

#1 1 like

Nie bałdzo wiedziałek, jak to zatytuować. Mianowicie fanfiction.net wprowadziło ostatnio zabezpieczenie przeciwko bootom, coś z cloudflare ponoć. Nie mogę więc ściągać rozdziałów za pomocą pythona. Próbowałem selenium, które otwiera zkłą przeglądarkę, ale po dwóch zapytaniach i tak mnie blokują. Ktoś miałby jakiś pomysł jak to ominąć?

#2

Ogarnąć jak częste zapytania generują blokdę i generować je nieco żadziej?
- "Intelligence and wisdom is like jam. The less you have, the harder you're trying to spread it arround." - French proverb

#3 1 like

Nie, wystarczy że z poziomu bs4 w py zrobię jedno pobranie zawatści strony i nie pobiera mi się zawartość strony tylko ta cała strona testowa, please wait czy coś...

#4

A może ustaw nagłówek FollowRedirct?
- "Intelligence and wisdom is like jam. The less you have, the harder you're trying to spread it arround." - French proverb

#5

Tylko, ze bs działa jak wget. Ciągraz i na pewno nie czeka na przekierowanie.

#6 1 like

ciągnie.

#7

A nie da sie tego zmienić? I czy przypadkiem BS nie obsługuje zwyczajnie ładowania dokumentu HTML? Pobierz top jakimś curlem i crawluj przez BS
- "Intelligence and wisdom is like jam. The less you have, the harder you're trying to spread it arround." - French proverb

#8

Aaaa, fktycznie, bs to tylko parser, miałem na myśli, że urllibem pobieram... więc pewnie musiałbym otwierać to curlem, czekać na jakieś ciasteczko czy przekierowanie i dopiero potem otrzymam poprawną stronę. Tylko kiedy to potem nastąpi, skoro 200OK i 200OK zwraca i tu i tam?

#9

No i tu jest piespogrzebany. Możesz odtworzyć trasę pakietów przeglądarką i na tej podstawie wymyślić sposób.
- "Intelligence and wisdom is like jam. The less you have, the harder you're trying to spread it arround." - French proverb

#10

W jaki sposób odtworzyć trasę pakietów przeglądarką?

#12 1 like

Przeglądarką? Co robi który kod?