Перейти к содержимому


Фото

Нужно сделать хитрый парсер для авито


  • Чтобы отвечать, сперва войдите на форум
43 ответов в теме

#1 Оффлайн   vlad-ghost

vlad-ghost

    Магистр флейма

  • Форумец
  • ФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишка
  • 23 119 Сообщений:
  • Авто:лесник и баргузин

Опубликовано 28.01.2021 - 23:17

есть идейка, есть инет магазин на авито в него вбивают данные около 40 человек так как через приложение это удобно и быстро и у продавцов нет доступа в интернет с компов, вопрос как вытащить эти данные вместе со всеми картинками допустим в 1с или в xml+rкартинки, чтобы я из перегнал в битрикс потом ну а с битрикса уже по другим площадкам

 

так как идея сделать мобильное приложение на яблоко и андроид которое будет в принципе по удобству = авитовскому и будет загонять данные в 1с и все это отладить, в общем оно того не стоит, проще спарсить свой же интернет магазин, мне так кажется

 

задача - сначала в бить в 1с категорически не рассматривается никто это делать не будет и спец человека под это не выделят


Изменено: vlad-ghost, 28.01.2021 - 23:23

  • 0

любви достойна только мать .....и турбосуба 2,5 ;)))))


#2 Оффлайн   hazzyhaz

hazzyhaz

    ы

  • Форумец
  • ФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишка
  • 23 315 Сообщений:
  • Авто:адын на больших колесах

Опубликовано 28.01.2021 - 23:20

Сделай. А вопрос какой?


  • 0

#3 Оффлайн   vlad-ghost

vlad-ghost

    Магистр флейма

  • Форумец
  • ФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишка
  • 23 119 Сообщений:
  • Авто:лесник и баргузин

Опубликовано 28.01.2021 - 23:22

так мне вот и нужен чел который его сделает


что надо спарсить - категория (новое или б.у) описание и цена и адрес что к карте прикреплен


  • 0

любви достойна только мать .....и турбосуба 2,5 ;)))))


#4 Оффлайн   Shaman

Shaman

    Кавалер ордена флейма

  • Форумец
  • ФишкаФишкаФишкаФишкаФишкаФишка
  • 883 Сообщений:
  • Авто:vag

Опубликовано 28.01.2021 - 23:38

пару лет назад нужно было дергать недвигу с авито и чтобы более менее норм работало приходилось проксей покупать достаточно большое количество + сервис разгадывания капчи прикручивать к скрипту...но там правда все это дело в режиме 24/7 работало


  • 0

#5 Оффлайн   ПадшийРубль

ПадшийРубль

    Кавалер ордена флейма

  • Banned
  • ФишкаФишкаФишкаФишкаФишкаФишка
  • 972 Сообщений:

Опубликовано 28.01.2021 - 23:39

а с водяными знаками авито что делать?


  • 0

#6 Оффлайн   vlad-ghost

vlad-ghost

    Магистр флейма

  • Форумец
  • ФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишка
  • 23 119 Сообщений:
  • Авто:лесник и баргузин

Опубликовано 28.01.2021 - 23:47

у нас нет водяных знаков, мне надо спарсить свой же инет магазин и со всех точек продаж собрать товары в одном каталоге чтобы отзеркалить объявы на других площадках, так как основная площадка по продаже это авито и делать это надо ежедневно


как сейчас происходит, девочки по свободе отщелкали изделие и прикрепили описание и выложили на авито с мобильника это быстро удобно и понятно для них, выкладывать еще куда то товар они не будут так как основной канал продаж - это офлайн, мне чтобы продвинуть товары на других площадках надо вот все товары со всех точек собрать в одну базу а обновляются они и закрываются объявления ежедневно девочки за своими филиалами следят, а отслеживать одно и тоже объявление на куче площадок времени нет и никто этим заниматься не будет специально так как это адский труд, доступ к магазину есть логины пароли 


Изменено: vlad-ghost, 28.01.2021 - 23:48

  • 0

любви достойна только мать .....и турбосуба 2,5 ;)))))


#7 Оффлайн   ПадшийРубль

ПадшийРубль

    Кавалер ордена флейма

  • Banned
  • ФишкаФишкаФишкаФишкаФишкаФишка
  • 972 Сообщений:

Опубликовано 28.01.2021 - 23:51

как нет водяных знаков, если их везде ставит авито автоматом


  • 1

#8 Оффлайн   vlad-ghost

vlad-ghost

    Магистр флейма

  • Форумец
  • ФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишка
  • 23 119 Сообщений:
  • Авто:лесник и баргузин

Опубликовано 28.01.2021 - 23:55

как нет водяных знаков, если их везде ставит авито автоматом

так там внизу в уголке, этот вопрос решается обрезанием картинки снизу, не заморачивайся этим


по середке ставит только в недвижке в моем разделе внизу в правом уголке маленький значок 


  • 0

любви достойна только мать .....и турбосуба 2,5 ;)))))


#9 Оффлайн   hazzyhaz

hazzyhaz

    ы

  • Форумец
  • ФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишка
  • 23 315 Сообщений:
  • Авто:адын на больших колесах

Опубликовано 29.01.2021 - 00:20

Так у тебя же есть крутые программисты всякие, которые мильоны зарабатывают. Не могут помочь или посоветовать кого?
А в Гугле пробовал платные варианты? Там выгружает все в принципе только ссылки на картинки вместо картинок.

Изменено: hazzyhaz, 29.01.2021 - 00:25

  • 0

#10 Оффлайн   vlad-ghost

vlad-ghost

    Магистр флейма

  • Форумец
  • ФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишка
  • 23 119 Сообщений:
  • Авто:лесник и баргузин

Опубликовано 29.01.2021 - 00:29

Так у тебя же есть крутые программисты всякие, которые мильоны зарабатывают. Не могут помочь или посоветовать кого?

все цены назвали негуманные и посоветовали обратиться к тем кто парсеры пишет, среди моих знакомых таких не нашлось, кого в инете нашел - те ответили дословно, "интернет магазины не парсим принципиально" конечно раскидаю по фрилансам еще всяким, это так вечерняя идея  голову пришла и стал пробивать порядок цен для ее реализации - через 1с порядок цен 1-2 ляма назвали запросили примерно, но вариант с битриксом мне нравится больше с ним я могу крутить вертеть многое, но мне нужны исходники


  • 0

любви достойна только мать .....и турбосуба 2,5 ;)))))


#11 Оффлайн   hsbc

hsbc

    Трижды герой флейма

  • Форумец
  • ФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишка
  • 6 892 Сообщений:
  • Авто:Suzuki Bara

Опубликовано 29.01.2021 - 01:00

Какой бюджет?

Если я верно понял примерное ТЗ, можешь стучать в личку. Ставка 1700\час. 

 

 

 

все цены назвали негуманные

Скорей всего они в твой бюджет не влезают. :)

 

 

 

те ответили дословно, "интернет магазины не парсим принципиально"

Какие привередливые. Смотря какой шоп, на каком движке. У авито конечно своя специфика парсинга, но все реально

 

 

 

а с водяными знаками авито что делать?

Ты наверно мне не поверишь, но для фото водяные знаки сейчас это не проблема.

Я до НГ писал человеку платформу для он-лайн школы. 4 месяца ваял проект. Мы сделали водяной знак на видео! Так он был плавающий, уходил за пределы экрана на 1-2 секунды и возвращался в абсолютно другом месте, что бы нельзя было сделать захват объекта+ каждому, кто регался присваивался свой уникальный Id, который и являлся вотемарком. Вообщем там оочень тяжелая система. Вот такое нереально слить, а фото-это уже вообще фигня.


  • 0
Simply Clever Опубликованное фото

#12 Оффлайн   matrix

matrix

    Зацифрованный

  • Форумец
  • ФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишка
  • 23 884 Сообщений:
  • Авто:особое благословение

Опубликовано 29.01.2021 - 08:54

Парсить чужие сервисы со своими же данными так себе затея.


  • 2
89OЗ4O0O7З6

#13 Оффлайн   ПадшийРубль

ПадшийРубль

    Кавалер ордена флейма

  • Banned
  • ФишкаФишкаФишкаФишкаФишкаФишка
  • 972 Сообщений:

Опубликовано 29.01.2021 - 09:07

есть же системы авто клика как мод в браузер ставятся.

 

а через сервис https://pro.avito.ru...=left_menu_link

 

легко скликать, 1 объява 1 минута. и никакие прокси не нужны так как работаешь со своими объявами.

за вечер ночь можно 12 часов на 60=720 объяв скликать

imacros в лисе


Изменено: ПадшийРубль, 29.01.2021 - 09:08

  • 0

#14 Оффлайн   sergmessenger

sergmessenger

    Зануда

  • Форумец
  • ФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишка
  • 17 133 Сообщений:

Опубликовано 29.01.2021 - 11:19

 через 1с порядок цен 1-2 ляма назвали запросили примерно

Наверное, ты ставил задачу написать парсер. Ну и отлилось в бюджет разработки нормального такого программного обеспечения. А нужны тебе настройки для готового парсера. Создание таких настроек (у фрилансера) - ну 10 тр, ну 20 тр. ну 50 т.р. если исполнитель вообще модный, + всякие прокси. А парсер ты можешь купить, он стоит 5 т.р.

Правда, выгрузка будет в CSV, нужна будет ещё приблуда экспорта из CSV в Битрикс. Тоже денег понадобится.

 

Нюанс в том, что Авито постоянно меняет свой код, и настройки придётся регулярно переписывать. Как часто - не скажу.


hsbc писал что водяные знаки не проблема - вот тут я не понял. Если не секрет, как решаешь?

Это конечно если в Авито не экспорта объявлений  :stol:  но тут я не подскажу  :)


  • 0

всё трудней работать
мне день ото дня
вместо ручек лапки
лапки у меня


#15 Оффлайн   vlad-ghost

vlad-ghost

    Магистр флейма

  • Форумец
  • ФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишка
  • 23 119 Сообщений:
  • Авто:лесник и баргузин

Опубликовано 29.01.2021 - 11:23

нету экспорта, был бы не заморачивался бы ((((

 

есть же системы авто клика как мод в браузер ставятся.

 

а через сервис https://pro.avito.ru...=left_menu_link

 

легко скликать, 1 объява 1 минута. и никакие прокси не нужны так как работаешь со своими объявами.

за вечер ночь можно 12 часов на 60=720 объяв скликать

imacros в лисе

это на автомате нужно сделать а не ручками, на то нет времени так как надо каждый день по 700 объяв скликивать


  • 0

любви достойна только мать .....и турбосуба 2,5 ;)))))


#16 Оффлайн   hsbc

hsbc

    Трижды герой флейма

  • Форумец
  • ФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишка
  • 6 892 Сообщений:
  • Авто:Suzuki Bara

Опубликовано 29.01.2021 - 11:40

 

 

hsbc писал что водяные знаки не проблема - вот тут я не понял. Если не секрет, как решаешь?

Мы про водянки авито?


  • 0
Simply Clever Опубликованное фото

#17 Оффлайн   sergmessenger

sergmessenger

    Зануда

  • Форумец
  • ФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишка
  • 17 133 Сообщений:

Опубликовано 29.01.2021 - 11:41

Мы про водянки авито?

Да, про них.


  • 0

всё трудней работать
мне день ото дня
вместо ручек лапки
лапки у меня


#18 Оффлайн   Михаил_rnd

Михаил_rnd

    Магистр флейма

  • Форумец
  • ФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишка
  • 21 528 Сообщений:
  • Авто:Kia

Опубликовано 29.01.2021 - 12:02

Так у тебя же есть крутые программисты всякие, которые мильоны зарабатывают. Не могут помочь или посоветовать кого?
А в Гугле пробовал платные варианты? Там выгружает все в принципе только ссылки на картинки вместо картинок.

Мне кажется, он хочет с авито Чей-то магазин сдернуть. А то как так то. Есть все исходники но надо выгрузить с авито.
  • 0

#19 Оффлайн   vlad-ghost

vlad-ghost

    Магистр флейма

  • Форумец
  • ФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишка
  • 23 119 Сообщений:
  • Авто:лесник и баргузин

Опубликовано 29.01.2021 - 12:16

мой магазин надо сдернуть не чей то а мой, ну вернее как мой я его админю, и просто когда была изоляция решил офлайн вывести в онлайн, это дело пошло, и вот надо бы расшириться, но так чтобы осталось удобство выкладывания данных с мобильников продавцов, выгружать в разные места они не будут точек продаж где находится уникальный товар много, каждое изделие уникально, итого есть два пути

1. сделать прилжение для ведроида и айфона по типу авито через которое все будет в 1с загоняться и с 1с ежедневно раскидываться по разным площадкам это 1-2 ляма

2. спарсить мой же магазин загнать его в 1с или в битрикс а дальше все просто, т.е. по факту так как объявления платные, то на авито не выйдет ежедневно все это грузить итого надо будет спец человека заводить и он должен отлеживать около 700-1000 объяв что тоже не целесообразно

3. оставить как есть и забыть про другие площадки и все делать ручками

 

есть еще идеи? как дешево сделать базу товаров с описанием и фотками, когда ежедневно одни изделия продаются и их место занимают другие изделия с другой ценой и характеристикой а так как все же основной канал это офлайн, то вбухивать лямы в такую систему никто не будет


  • 0

любви достойна только мать .....и турбосуба 2,5 ;)))))


#20 Оффлайн   matrix

matrix

    Зацифрованный

  • Форумец
  • ФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишка
  • 23 884 Сообщений:
  • Авто:особое благословение

Опубликовано 29.01.2021 - 12:58

Ну, так возьми какой-нибудь шаблонный интернет-магазин на битрикс и пусть твои умельцы его наполняют, а спецов попроси модуль написать, который будет закидывать объяву на авито/юлу, заодно и сканировать на проданные позиции. А парсеры постоянно придется править, одолевать капчи, прокси и другие преграды. Ибо любой крупный сайт всегда с ними будет бороться!


Изменено: matrix, 29.01.2021 - 12:58

  • 1
89OЗ4O0O7З6

#21 Оффлайн   vlad-ghost

vlad-ghost

    Магистр флейма

  • Форумец
  • ФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишка
  • 23 119 Сообщений:
  • Авто:лесник и баргузин

Опубликовано 29.01.2021 - 13:12

не, ТЗ звучит не так, как сделать чтобы девочки наполняли авито а с него раскидывалось по другим площадкам, или надо писать приложение под сайт чтобы без всякого браузера оно попадало на сайт а сайта уже делать экспорт в 1с а с 1с уже на авито юлу и т.д. 

 

в общем, все же склоняюсь к тому чтобы под битрикс написать приложение а с битрикса уже вытащить данные проблем больших нет, тогда можно будет не весь ассортимент выкладывать а избранные позиции


  • 0

любви достойна только мать .....и турбосуба 2,5 ;)))))


#22 Оффлайн   sergmessenger

sergmessenger

    Зануда

  • Форумец
  • ФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишка
  • 17 133 Сообщений:

Опубликовано 29.01.2021 - 13:12

1. сделать прилжение для ведроида и айфона по типу авито через которое все будет в 1с загоняться и с 1с ежедневно раскидываться по разным площадкам это 1-2 ляма

Я аж печенькой поперхнулся! Можно ещё нанять стриптизёршь и обучить их контент-менеджменту. Они будут голые танцевать и одновременно наполнять. Дорого, да, но зато эротично!


  • 1

всё трудней работать
мне день ото дня
вместо ручек лапки
лапки у меня


#23 Оффлайн   vlad-ghost

vlad-ghost

    Магистр флейма

  • Форумец
  • ФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишка
  • 23 119 Сообщений:
  • Авто:лесник и баргузин

Опубликовано 29.01.2021 - 13:19

Я аж печенькой поперхнулся! Можно ещё нанять стриптизёршь и обучить их контент-менеджменту. Они будут голые танцевать и одновременно наполнять. Дорого, да, но зато эротично!

это самый логичный вариант но и самый затратный


  • 1

любви достойна только мать .....и турбосуба 2,5 ;)))))


#24 Оффлайн   sergmessenger

sergmessenger

    Зануда

  • Форумец
  • ФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишкаФишка
  • 17 133 Сообщений:

Опубликовано 29.01.2021 - 13:23

это самый логичный вариант но и самый затратный

Если решишься нанимать тёток, согласен под это дело предоставить свою конторку с компами  :Just_Cuz_223:  :Just_Cuz_223:  :Just_Cuz_223: Даже светомузыку поставлю.

Люблю красоту!


И даже обучить их могу )))


  • 1

всё трудней работать
мне день ото дня
вместо ручек лапки
лапки у меня


#25 Оффлайн   Male

Male

    Кавалер ордена флейма

  • Форумец
  • ФишкаФишкаФишкаФишкаФишкаФишка
  • 832 Сообщений:
  • Авто:Mazda

Опубликовано 29.01.2021 - 13:26

Если решишься нанимать тёток, согласен под это дело предоставить свою конторку с компами  :Just_Cuz_223:  :Just_Cuz_223:  :Just_Cuz_223: Даже светомузыку поставлю.

Люблю красоту!


И даже обучить их могу )))

Готов купить билет на это мероприятие!


  • 1




0 пользователей читают эту тему

0 пользователей, 0 гостей, 0 невидимых

Яндекс.Метрика