Need HELP ! extract de google cache

Envie de tchacher, n'hésitez pas !
Avatar de l’utilisateur
poulpito
Messages : 12402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

Need HELP ! extract de google cache

Message par poulpito »

Bon j'ai un truc un peu compliqué à vous demander et je me casse les dents depuis quelques jours dessus

en gros comme le forum de moto a disparu du net ... la faute a hackerz boulet, mavenhosting les tapouettes et le manque de backups de nos admins
il ne reste comme trace plus que google cache

http://webcache.googleusercontent.com/s ... Findex.php

je me disais qu'avoir un extract serait déjà ÜberCool :bounce: pour garder des infos au chaud
sauf que je n'y arrive ni avec httrack ni avec wget

alors déjà referrer obligatoire (j'utilise celui de lynx) + si trop de requetes google te bloque pour 24h mais à la limite c'est psa trop le soucis
via des vpn/proxy on pourrait le faire morceau par morceau
ah si faut oublier le robots.txt qui ferait faire de la merde

le soucis c'est que les outils (même un autre spécialisé) n'arrivent pas à suivre les links relative et extraire surtout les liens de la page
le forum était un phpBB donc que du .php et des liens type ./viewforum.php?id= etx etc

Si vous avez une idée je vous en serais éternellement reconnaissant et vous rendriez le sourir à une bonne centaine de users actifs
en stats
257396 messages au total | 12694 sujets au total | 2803 membres au total |
Avatar de l’utilisateur
biour
Messages : 24386
Inscription : ven. 12 janv. 2018 17:44

Need HELP ! extract de google cache

Message par biour »

simplement demander a google d'envoyer une copie?
Image
Avatar de l’utilisateur
poulpito
Messages : 12402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

Need HELP ! extract de google cache

Message par poulpito »

si tu as une procédure ... j'ai pas trop cherché mais trouver un contact mail s'avère être difficile mais j'y ai pensé
Avatar de l’utilisateur
biour
Messages : 24386
Inscription : ven. 12 janv. 2018 17:44

Need HELP ! extract de google cache

Message par biour »

non, mais par experience pro, souvent suffit de demander poliment et sa rox ^^
Image
Avatar de l’utilisateur
poulpito
Messages : 12402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

Need HELP ! extract de google cache

Message par poulpito »

mail envoyé : france@google.com

ma demande reste valide ! help me :'(
Avatar de l’utilisateur
biour
Messages : 24386
Inscription : ven. 12 janv. 2018 17:44

Need HELP ! extract de google cache

Message par biour »

Image
Avatar de l’utilisateur
Zedoune
Messages : 15343
Inscription : ven. 12 janv. 2018 17:44

Need HELP ! extract de google cache

Message par Zedoune »

C'est un algo recursif :

Faut parcourir la page de cache (commencer par la première)
faire la liste des URLS qui pointent vers le domaine atoc-moto.com, les mettre dans une base style redis (ou postgresql/mysql ausis ça marche) si elles sont pas dedans
tu récupères la page X si elle est pas chéckée, puis tu check la page X dans ta base
tu recommandes
Avatar de l’utilisateur
poulpito
Messages : 12402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

Need HELP ! extract de google cache

Message par poulpito »

ouai :s mais j'ai pas trop le temps de coder en ce moment :'(
soucis perso + boulot

si l'admin trouve rien et que google fait le sourd je coderai ca en php la semaine prochaine pendant mon séjour en grèce
(puis faut gérer le fait que google ne laisse faire que x requetes / 24h)
Répondre