Jump to content

Парсер контента в HTML


Recommended Posts

Может кто знает, есть какая ни будь прога или скрипт которая бы могла обработать интернет-магазин на персташопе и спарсить с него всю информацию и превратить это все в локальный html сайт открывающийся с компа?

 

Просто есть оптовый каталог, и иногда просят создать диск для выставки 1 в 1 как сайт выглядит и ручками это все очень геморно делать...

Link to comment
Share on other sites

Не это хрень к сожалению много мусара, добавляет мусор в код свой с прошлыми ссылками...и там куча всего после надо перенастраивать, нужно чтобы в начале в файле можно было задать милион настроек и после выполнить скрипт и получился бы сайт какой надо...

 

Нашел вот это: http://simplehtmldom.sourceforge.net

 

Но пока не понял там двух вещей, это:

 

1) Как исключать куски кода в шаблоне, скажем если у меня скрипт вот такой:

 

foreach($html->find('#page') as $article) {
$item['center'] = $article->find('#columns', 0)->outertext;
$item['footer'] = $article->find('#footer', 0)->outertext;
$articles[] = $item;
}

 

В нутри #columns много мусора, инетресно можно как то найти по классу или айди элемент в нутри и исключить его при записи в файл, или же мне указывать по айди и классу (перечислить) только те элементы которые хочу скопировать..просто это геморнее.

 

2) И еще как заставить этот парсер не указанную страницу спарсить, а весь сайт в пределах домена и самое главное поменять ссылки на локальные и скачать все прикрепленные файлы к шаблону типа картинок товаров, ксс и js файлы..

Edited by Kerm (see edit history)
Link to comment
Share on other sites

..

 

Есть VisualWebRipper, стоит правда солидно, но с первого же большого заказа на сбор и обработку материала, можно окупить. Триал: http://www.visualwebripper.com/Download/web-scraping-software.aspx

 

Цена: 300 USD, но у меня есть скидка, если что могу помочь с приобретением.

Link to comment
Share on other sites

 

 

А что мешает поставить вебсервер на диск?

 

Удиви меня, что есть веб сервер который можно записать на компакт диск в месте с сайтом и когда клиет выставляет такой компакт диск в компьютер там автоматически начинает работать пхп, MySQL,apache?

Edited by Kerm (see edit history)
  • Like 1
Link to comment
Share on other sites

Есть VisualWebRipper, стоит правда солидно, но с первого же большого заказа на сбор и обработку материала, можно окупить. Триал: http://www.visualweb...g-software.aspx

 

Цена: 300 USD, но у меня есть скидка, если что могу помочь с приобретением.

 

Нашел его на торентах, сейчас буду тестить

Link to comment
Share on other sites

Удиви меня, что есть веб сервер который можно записать на компакт диск в месте с сайтом и когда клиет выставляет такой компакт диск в компьютер там автоматически начинает работать пхп, MySQL,apache?

openserver или xampp

сам пользовал))

на флешке без проблем пашет, думаю на диске можно заставить.

Link to comment
Share on other sites

Ну дык его не устанавливать не запускать вообще не чего не нужно делать? просто с флешки я пхп файл открываю и у меня сайт пашет?

Link to comment
Share on other sites

Клиент на выставке модного показа получит флешку, поверь 99% только умеют вставлять ее в комп и заходить на нее, все...им должен быть доступен толко один ярлык при нажатии на который откроется сайт локальный на флешке...и это должно пахать и в винде ина маках...

Link to comment
Share on other sites

Ну дык его не устанавливать не запускать вообще не чего не нужно делать? просто с флешки я пхп файл открываю и у меня сайт пашет?

 

xampp так можно

Link to comment
Share on other sites

Клиент на выставке модного показа получит флешку, поверь 99% только умеют вставлять ее в комп и заходить на нее, все...им должен быть доступен толко один ярлык при нажатии на который откроется сайт локальный на флешке...и это должно пахать и в винде ина маках...

Можно autorun.inf написать.

  • Like 1
Link to comment
Share on other sites

Да это то понятно, просто absent пишет что можно просто подрубить флешку и запустить index.php и в браузере сайт запашет полностью на пересте...а чтобы это получилось там хотя бы строчку в localhost надо будет для начала прописать...в общем это нереально на 99% я так думаю

Edited by Kerm (see edit history)
Link to comment
Share on other sites

×
×
  • Create New...