Проверка сайтов

[Lublu_avto]

Подскажите. Ситуация следующая. Есть список сайтов site.txt около 500 штук. Где то половина из них уже не действует. Как проверить доступность и выбрать только доступные предположим в файл site1.txt

 

Спасибо.

[KPACAB4Er]

whois вам в помощь

[Lublu_avto]

В том то и дело, что руками перебирать нет желания.

[dr.Evil]

дописать в начале каждого сайта ping и сделать батником

а нет. не всё так просто

[пухля]

А что ping ? Это не проверка.

Надо скрипт замутить, чтобы wget'ом скачивал сайт, он только index.html будет загружать,

и по результатам этой загрузки уже можно судить о "живости" данного сайта.

 

То есть, если сказать wget ya.ru, то в текущую папку падает index.html,

или НЕ падает, по этому и судить.

[пухля]

Аффтар не обозначил, под чем должно работать решение - под Win или Linux.

[Lublu_avto]

В идеале под виндой, но есть у коллеги машина под Linux. Так что в принципе без разницы.

[пухля]

скрипт на баше

 

#!/bin/bash
infile=$1
oufile=$2
rm -rf $oufile
while read line; do
rm -rf index.html
wget $line -T 2 -t 2
if [ -f index.html ]
then
echo $line >> $oufile
fi
done < $infile
rm -rf index.html
 

Сам скрипт записать в файл, дать ему аттрибут запускаемого с помощью chmod a+x

Запускать: скрипт файл1 файл2

Где файл1 - файл со списком сайтов, файл2 - выходной файл со списком работающих сайтов.

[Lublu_avto]

@пухля, СПАСИБО БОЛЬШОЕ!!! Пойду учить матчасть.

[Dimradio]

Не нужно ни чего мутить. Всё уже  давно замучено)

С первой страницы поиска по запросу из вашего сообщения: http://pr-cy.ru/mass_domain

[oldbay]

На python можно написать и кроссплатформенный скрипт при помощи urllib

По сути нужно просто с каждого сайта получить ответ на стстус страницы.

 

Быстрое гугление находит простое решение: http://aderkin.ru/posts/162