dCrawl

Profitez des millions des dernières applications Android, jeux, musique, films, télévision, livres, magazines et plus encore. À tout moment, n'importe où, sur vos appareils.

dCrawl est un robot Web (également connu sous le nom de web spider): le but est de numériser les liens d'un site Web afin d'obtenir une liste de fichiers et répertoires hébergés sur le serveur cible.

Le Crawler récupère uniquement des fichiers qui sont explicitement liés sur le site Web, il ne découvrira pas de nouveaux fichiers comme par magie. Cette application n'est utile que si vous souhaitez connaître approximativement le type de fichiers hébergés sur un certain site Web ou, si vous êtes le propriétaire du site Web, pour connaître le nombre de fichiers facilement accessibles aux visiteurs.

Étant donné que dCrawl est toujours en cours de développement, des comportements étranges (bogues) peuvent se produire de temps à autre: vous pouvez trouver des fichiers "mauvais" (par exemple, des fichiers qui n'existent pas, des extraits de code javascript, etc. ou quelque chose comme ça n'existe pas.

D'autres choses qui pourraient se produire sur un site Web (et c'est surtout le problème du site Web) est que, pour chaque page visitée, d'autres pages sont "créées" (par exemple, visiter / goto / fail peut créer une page contenant un lien A / goto / fail / goto / fail, qui contiendrait ensuite A / goto / fail / goto / fail / goto / lien lien et ainsi de suite). Lorsque vous vous rendez compte que ce type de boucle se déroule, vous pouvez arrêter l'exécution à l'aide du bouton "Stop".

Une dernière chose: éviter de numériser un grand nombre de fichiers car a) le propriétaire du site Web pourrait ne pas être satisfait de cela et b) vous pourriez finir par utiliser toute la mémoire disponible.

Cela étant dit, gardez à l'esprit que dCrawl est toujours en cours de développement, donc de nouvelles mises à jour seront disponibles de temps en temps.

FAIRE:

- Ignorez le code JavaScript lors de l'analyse d'une page

- Lire le fichier robots.txt (si disponible) pour faire fonctionner plus de fichiers et de répertoires (pas vraiment juste, mais je suis mauvais comme ça)

- Distinguer (peut-être en utilisant une couleur différente) Répertoires non vides des fichiers et des répertoires vides

- Exporter les résultats d'un scan

- Correction des bugs que les gens géniaux me diront d'une manière détaillée et aimable :-)

Si vous avez apprécié cette application, veuillez envisager de basculer en utilisant BTC, je l'apprécierais vraiment

18xjhdrtrt1xdhvgeezghrqxmkr4z3qspt