Паук - сборщик цен

Discussion in 'PHP' started by Atrill, 28 Sep 2009.

  1. Atrill

    Atrill New Member

    Joined:
    14 May 2009
    Messages:
    7
    Likes Received:
    0
    Reputations:
    0
    Доброго времени суток.
    Есть сайт motorzona.ru
    Я пишу паука, который будет автоматически забивать номера в поле поиска и собирать ответы по ценам. Проблема в том, что IIS не хочет почему-то принимать мои запросы. ПОчти неделю долбаюсь и не могу понять причины.
    Вот мой запрос:

    GET http://motorzona.ru/shop/model.0/part-search/default.asp?mxcd-partn=99404960&mxcd-para=1&mxcd-bpart.x=1&mxcd-bpart.y=1 HTTP/1.0
    Host: motorzona.ru
    User-Agent: Mozilla/5.0 (X11; U; Linux i686; ru; rv:1.9.0.8) Gecko/2009033100 Ubuntu/9.04 (jaunty) Firefox/3.0.8
    Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
    Accept-Language: ru,en-us;q=0.7,en;q=0.3
    Accept-Encoding: gzip,deflate
    Accept-Charset: windows-1251,utf-8;q=0.7,*;q=0.7
    Keep-Alive: 300
    Proxy-Connection: keep-alive
    Referer: http://motorzona.ru/Default.asp
    Cookie: emotor%2Dcookes=SURL=%2Fdefault%2Easp%3Fcmd%3D00200600000000000110000000000000000&UID=%7BE82A4EC9%2DB6EA%2D4F4E%2DA8D4%2DEECC99052435%7D&currency=rub; ASPSESSIONIDAATDBCTT=LNHCKKGDLGOLAAKANIOIOANE; b=b;

    ответ сервера:
    HTTP/1.1 404 Not Found
    Content-Length: 1635
    Content-Type: text/html
    Server: Microsoft-IIS/6.0
    X-Powered-By: ASP.NET
    Date: Mon, 28 Sep 2009 06:03:31 GMT
    Connection: close

    <!DOCTYPE H ... и так далее

    Интересно то, что когда я этот адрес ввожу в firefox, всё работает. Вот что выдаёт temper data:

    Адрес:
    URL=http://motorzona.ru/shop/model.0/part-search/default.asp?mxcd-partn=99404960&mxcd-para=1&mxcd-bpart.x=1&mxcd-bpart.y=1
    Запрос:
    Host=motorzona.ru
    User-Agent=Mozilla/5.0 (X11; U; Linux i686; ru; rv:1.9.0.8) Gecko/2009033100 Ubuntu/9.04 (jaunty) Firefox/3.0.8
    Accept=text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
    Accept-Language=ru,en-us;q=0.7,en;q=0.3
    Accept-Encoding=gzip,deflate
    Accept-Charset=windows-1251,utf-8;q=0.7,*;q=0.7
    Keep-Alive=300
    Proxy-Connection=keep-alive
    Cookie=emotor%2Dcookes=SURL=%2Fdefault%2Easp%3Fmxcd%2Dpartn%3D99404960%26mxcd%2Dpara%3D1%26mxcd%2Dbpart%2Ex%3D1%26mxcd%2Dbpart%2Ey%3D1%26cmd%3D00200600000000000110000000000000000%26its%3D0&currency=rub&UID=%7BE82A4EC9%2DB6EA%2D4F4E%2DA8D4%2DEECC99052435%7D; ASPSESSIONIDAATDBCTT=LNHCKKGDLGOLAAKANIOIOANE; b=b

    Ответ:
    Status=Object moved - 302
    Date=Mon, 28 Sep 2009 06:08:39 GMT
    Server=Microsoft-IIS/6.0
    X-Powered-By=ASP.NET
    Pragma=no-cache
    Location=http://motorzona.ru/shop/part-info07PDC/default.asp
    Content-Length=172
    Content-Type=text/html; Charset=windows-1251
    Expires=Mon, 28 Sep 2009 06:08:39 GMT
    Set-Cookie=emotor%2Dcookes=SURL=%2Fdefault%2Easp%3Fmxcd%2Dpartn%3D99404960%26mxcd%2Dpara%3D1%26mxcd%2Dbpart%2Ex%3D1%26mxcd%2Dbpart%2Ey%3D1%26cmd%3D00200600000000000110000000000000000%26its%3D0&UID=%7BE82A4EC9%2DB6EA%2D4F4E%2DA8D4%2DEECC99052435%7D&currency=rub; path=/
    Cache-Control=no-cache
    Proxy-Connection=Keep-Alive

    По идее сервер должен выставлять cookie и пересылать, но я не понимаю впочему он выдаёт 404.
     
  2. 0rs

    0rs Member

    Joined:
    30 Dec 2008
    Messages:
    69
    Likes Received:
    23
    Reputations:
    3
    Надо делать GET запрос без http и хоста
    Code:
    GET /shop/model.0/part-search/default.asp?mxcd-partn=99404960&mxcd-para=1&mxcd-bpart.x=1&mxcd-bpart.y=1 HTTP/1.0
    Если это конечно не запрос через прокси.
     
    #2 0rs, 28 Sep 2009
    Last edited: 28 Sep 2009
  3. Atrill

    Atrill New Member

    Joined:
    14 May 2009
    Messages:
    7
    Likes Received:
    0
    Reputations:
    0
    Изменил запрос. Однако по прежнему результат 404.

    GET /shop/model.0/part-search/default.asp?mxcd-partn=99404960&mxcd-para=1&mxcd-bpart.x=1&mxcd-bpart.y=1 HTTP/1.0
    User-Agent: Mozilla/5.0 (X11; U; Linux i686; ru; rv:1.9.0.8) Gecko/2009033100 Ubuntu/9.04 (jaunty) Firefox/3.0.8
    Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
    Accept-Language: ru,en-us;q=0.7,en;q=0.3
    Accept-Encoding: gzip,deflate
    Accept-Charset: windows-1251,utf-8;q=0.7,*;q=0.7
    Keep-Alive: 300
    Proxy-Connection: keep-alive
    Referer: http://motorzona.ru/Default.asp
    Cookie: emotor%2Dcookes=SURL=%2Fdefault%2Easp%3Fcmd%3D00200600000000000110000000000000000&UID=%7BE82A4EC9%2DB6EA%2D4F4E%2DA8D4%2DEECC99052435%7D&currency=rub; ASPSESSIONIDAATDBCTT=LNHCKKGDLGOLAAKANIOIOANE; b=b;
     
  4. zeppe1in

    zeppe1in Elder - Старейшина

    Joined:
    12 Jul 2006
    Messages:
    352
    Likes Received:
    66
    Reputations:
    18
    а где Host: ?)
     
  5. Atrill

    Atrill New Member

    Joined:
    14 May 2009
    Messages:
    7
    Likes Received:
    0
    Reputations:
    0
    Ура! Спасибо! Ответил 302.
    С апачем таких проблем раньше не было.

    +++
     
Loading...