Пошаговое описание
Разберем все на конкретном примере. Допустим, вы хотите купить переднеприводной ВАЗ где-нибудь за $2500. ВАЗ десятого семейства, скорее всего, не подойдет, там цены выше. Поэтому остаются ВАЗ 2108, 09 и 99. Все это и надо извлечь с серверов.
1. Извлечение объявлений с сайта газеты "Из рук в руки"

Переключаемся на вкладку "ИЗ РУК В РУКИ" (если вы не на ней) и следуем инструкциям в строке-статусе. Сначала там будет написано "Нажмите кнопку 'Переход' чтобы перейти на страницу". Начальный URL-адрес уже выбран и Вам остается только нажать эту кнопку. Далее последует ряд экранов, где вы выберите свой город, конкретное издание и т.п. Все в соответствии с организацией сайта газеты "Из рук в руки". Приблизитесь к странице с формой:

Надо заполнить форму, выбрав соответственно интересующую марку, модель и указать период. На сайте нет возможности выбрать сразу несколько моделей, поэтому надо будет извлекать отдельно. Сначала ВАЗ-2108, затем ВАЗ-2109, затем ВАЗ-21099. Итак, выбираем модель ВАЗ-2108 и нажимаем кнопку "Начать извлечение" программы. В результате запроса получится где-нибудь несколько сотен объявлений. Просмотр объявлений на сайте организован с разбиением строго по 10 объявлений на страницу (Санкт-Петербургский сайт), что неудобно. Кроме того, телефоны сразу не показываются. Сначала объявления надо отметить галочками и только после этого показывается страница с полным текстом объявлений. Вообщем, программа "Анализ частных объявлений - Авто" всю эту работы сделает автоматически. Все объявления будут извлечены в локальную базу данных. Эффективность извлечения зависит от скорости Вашего канала доступа в интернет и от загрузки серверов. Далее Вам надо будет повторить эту операцию для ВАЗ-2109 и ВАЗ-21099.

2. Извлечение объявлений с сайта газеты "Реклама-Шанс"

Вообще говоря, печатное издание "Реклама-Шанс" выпускается только в Санкт-Петербурге и Ленобласти. О других регионах пока ничего не известно. Хотя, теоретически, на сайте могут публиковаться объявления разных городов (возможно только в электронной версии). Вообщем, если нужно, извлекайте. Здесь все гораздо разумнее. На страницу с формой попадаем сразу. Видим гораздо больше критериев для поиска. Выбираем "ВАЗ", "2108", можно сразу задать критерий по цене, раз сайт это позволяет, а не то может получиться слишком много ненужных объявлений и, соответственно, много переходов по страницам. А можно вообще извлечь абсолютно все объявления ВАЗ, не указывая конкретную модель, а потом уже удалить все ненужное. В принципе, это самый простой вариант. Конечно, если у Вас хороший интернет-канал. Разбиение по страницам на сервере газеты "Реклама-Шанс" возможно аж по 100, поэтому очень много переходов не будет в любом случае. Есть другая вероятная проблема. Сайт содержит слишком много рекламы, выполненной в виде Flash-роликов. Она, во-первых, делает страницы "тяжелыми", они долго грузятся и иногда даже могут не догружаться вообще. Хотя конечно, все зависит от скорости Вашего интернет-канала. Во-вторых, сжирает очень много ресурсов компьютера. Поэтому желательно, чтобы у Вас был более-менее производительный компьютер. Заполнив форму, нажимаем кнопку "Начать извлечение" программы (не путать с кнопкой "Найти объявления" на странице, ее как раз нажимать не нужно).

3. Извлечение объявлений с сайта "Auto.ru"

Сайт "Auto.ru" организован таким образом, что каждое авто объявление показывается на отдельной странице. Форма, куда можно было бы ввести интересующие параметры выборки и сделать запрос отсутствует. Поэтому у программы имеется своя функциональность интерактивного онлайн анализа таблицы со ссылками на объявления. С помощью "Параметров извлечения" можно задать интересующие критерии. Выбираем поля, определяем желаемые значения. Например, "Год вып >= 1995". Галочка "Только новые объявления" означает, что отбирать нужно только те объявления, URL адрес которых отсутствуют в локальной базе данных. Сравнение производится по полю "URL сайта", которое (в случае Auto.ru) является уникальной прямой ссылкой (URL) на страницу с объявлением.

4. Извлечение с других сайтов

Здесь, каждый раз, когда осуществляется переход на новую страницу, программа пытается найти авто объявления. Если находит объявления или ссылки на объявления, сообщает сколько нашла и предлагает извлечь. Конечно нельзя гарантировать, что программа будет нормально находить и извлекать объявления с абсолютно любой HTML страницы, поскольку организация структуры страницы может быть в принципе очень не стандартной (с точки зрения программы "Анализ частных объявлений - Авто"). Иногда бывает трудно отличить объявление от строчной рекламы и т.д. Эту функциональность можно скорее назвать как попытка обнаружения и извлечения авто объявлений с условно любой HTML страницы. На вкладке "ДРУГИЕ URL" в ниспадающем списке адреса содержатся сайты, с которыми протестирована эта функциональность. Вы можете предложить адаптировать программу к каким-либо другим сайтам.

5. Анализ

По окончании извлечения объявлений (с любого сайта) для вновь извлеченных объявлений запускается механизм заполнения аналитических полей. Их очень много, некоторые из них вы видите на картинке (Объект, Цена, Год выпуска, Пробег ...) но их гораздо больше. Вообщем, почти все, что может быть полезно при выборе автомобиля учтено. С помощью определенного алгоритма-интеллекта все эти поля строятся на основе полного текста объявления. Говоря профессиональным языком, из неструктурированной информации вы получаете строго структурированную. Сделав правый клик по заголовкам полей таблицы, вы увидите абсолютно все аналитические поля. Выбирайте нужные, скрывайте ненужные. Все поля (кроме ID) доступны для редактирования.
Если в процессе извлечения возникли какие-либо проблемы, например, сервер газеты "Из рук в руки", который часто перегружен иногда выдает что-то типа "сервер перегружен, слишком много обращений, попробуйте позже" и рвет соединение, то аналитические поля не заполнятся. В этом случае для уже извлеченных объявлений вы можете заполнить их вручную, выбрав пункт меню "Заполнить аналитические поля".
Итак, в результате нашего извлечения получилось примерно тысяча объявлений. Очень много для просмотра вручную. Поэтому необходимы фильтры. Для фильтров существует специальная таблица, расположенная сверху, где вы можете выбрать любое поле и задать желаемое значение (диапазон значений). Нажимаем кнопку "Добавить фильтр" на панели инструментов и добавляем фильтр по цене: "Цена <= 2500". Нажимаем кнопку "Обновить", видим, что количество объявлений заметно поубавилось. Продолжаем... Что далее нас интересует? Год выпуска, определяем "И Год выпуска>= 1995", обновляем. Ну а дальше сами. Я бы искал машинки, чтобы цвет был обязательно "Металлик", т.е. надо задать "Металлик = Да". Можно еще добавить фильтр по пробегу, можно по цвету, можно по состоянию и т.д.
Если вы извлекли объявления Москвы или Санкт-Петербурга, то для Вас есть еще одно большое удобство: информация о районе города по первым цифрам телефонного номера. Причем показывается не только название района, но и конкретика по микрорайону. С помощью оператора LIKE и спецсимволов * # ? можно задавать диапазоны значений (маски). В программе предусмотрены условия "Содержит", "Не содержит", "Начинается с", "Не начинается с", "Кончается на", "Не кончается на". Вот еще один пример фильтра "Полный тест объявления 'Содержит' срочно", покажет все объявления, в которых встречается слово "срочно". Того же эффекта можно достичь, задав фильтры с помощью оператора LIKE "Полный тест объявления LIKE *срочно*" или лучше так "Полный тест объявления LIKE *[!А-я]срочно[!А-я]*".

В результате применения фильтров мы получили гораздо меньше объявлений, что уже вполне подходит для нормального анализа "глазками", чтения полного текста объявлений и обзвона. Наиболее интересные объявления можно отмечать как "Избранные". Тогда их цвет шрифта изменится на оранжевый. Или как "Мертвое", тогда светло-серый, но, вообще говоря, неинтересные объявления лучше сразу удалять. Вносите пометки в поле "Заметки пользователя" на основе просмотра или телефонного разговора. Результирующий набор объявлений кончено же можно распечатать. Окно предварительного просмотра перед Вами. Причем на печать выводится текущее представление таблицы. То есть выводятся только те поля, которые видимы, соблюдаются размеры колонок и их порядок. Можно также экспортировать объявления в MS Excel, MS Word или текстовый формат CSV. Успешной Вам работы!

Установка программы
Для установки программы необходимо:

Скачать программу AdAuto.msi
Запустить программу установки сделав двойной клик на скаченном файле
Следуя инструкциям программы-установщика инсталлировать программу на жесткий диск
Запустить программу, выбрав ее в меню «Программы» по нажатию кнопки «Пуск» или ярлык на рабочем столе.

ЗАБИРАЕМ

3.93 Мб

Цена лицензии к огромному сожаленю 1500 рублей.