Парсер Сайтов

[Noxius3 171]

3 часа назад, Кирилл Клейменов сказал:

А в идеале (это позднее - если Архив покажет рентабельность) - добавить сигналы в Телегу..

 

Сигналы в телегу, без проблем. Если проект покажет свою рентабельность, то спросим у админа... Будет добро на бесплатное продолжение, то сделаем.  Можно будет и для андроида версию сделать .

[Noxius3 171]

10 минут назад, Олег Money сказал:

Да, было бы супер !

Принял, значит и сервисы будем писать. Интересно, что из этого выйдет? Если флетом и хотя бы 70% то автоставку на этот алгоритм перестрою

[Noxius3 171]

Народ, про админа не просто так сказал, начали с ним сотрудничать. Какие-то программы буду скидывать, какие-то нет. На теннис была бесплатная разработка, этот парсер тоже сделаю бесплатно. (Самому хочется) но если скажут прекращать выкладывать обновы (проплаченное обоснование будет) то так и сделаю.

[obtim 394]

25 минут назад, Noxius3 сказал:

Народ, про админа не просто так сказал, начали с ним сотрудничать. Какие-то программы буду скидывать, какие-то нет. На теннис была бесплатная разработка, этот парсер тоже сделаю бесплатно. (Самому хочется) но если скажут прекращать выкладывать обновы (проплаченное обоснование будет) то так и сделаю.

Если будет интерес, то посмотри на этот ресурс https://oddslogs.com - его фишка в том, что из бесплатных он единственный, кто предоставляет поминутную статистику матча, в ключе событий. Мало кто анализирует матчи в этом ключе.. В идеале конечно подцепить к ним стартовые составы и еще пару параметров. Но это привязка по словарю названий команд: слишком много гимора

Попа с ним в том, что я нечайно создал на него нагрузку при парсинге и теперь там владелец включил каптчу. Как результат парсить надо потоками, через прокси. Вторая жопа в том, что события на минуту матча там формируются динамически, в отдельном окне.

П.С. Зачем это мне: тут Фарел заявил, что ему хватает "ресурсов" Excel. Вдруг кто-то сможет его переубедить..

[Noxius3 171]

 

 

 

10 минут назад, obtim сказал:

Если будет интерес, то посмотри на этот ресурс https://oddslogs.com - его фишка в том, что из бесплатных он единственный, кто предоставляет поминутную статистику матча, в ключе событий. Мало кто анализирует матчи в этом ключе.. В идеале конечно подцепить к ним стартовые составы и еще пару параметров. Но это привязка по словарю названий команд: слишком много гимора

Попа с ним в том, что я нечайно создал на него нагрузку при парсинге и теперь там владелец включил каптчу. Как результат парсить надо потоками, через прокси. Вторая жопа в том, что события на минуту матча там формируются динамически, в отдельном окне.

П.С. Зачем это мне: тут Фарел заявил, что ему хватает "ресурсов" Excel. Вдруг кто-то сможет его переубедить..

События матча я прекрасно парсю из мелбет и 1хставка. Основная проблема в привязке игр. В основном, везде названия команд разные (даже на английском) можно конечно собрать базы данных с названиями, чтоб сопоставлять их. Но это время, деньги на сервер и т.д. я пока не готов к этому. 

[Олег Money 0]

Друзья подскажите как переписать код, на https://www.betodds24.com/. Заранее Благодарен за ответ !

def soccervista():
    global predicts
    # https://www.newsoccervista.com/

    predicts['soccervista'] = []

    url = "https://www.newsoccervista.com"
    page = requests.get(url, headers={"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36"})

    soup = BeautifulSoup(page.content, "html.parser")
    games = soup.find_all(class_='twom')

    for game in games:
        home = game.find("div", {"class": "hometeam"}).text
        away = game.find("div", {"class": "awayteam"}).text

        if home == '' or away == '':
            continue

        game_class = Game()
        game_class.name = home + " vs " + away
        game_class.predict = game.find("strong").text

        predicts['soccervista'].append({'game': game_class.name, 'predict': game_class.predict})

[Кирилл Клейменов 295]

1 час назад, Noxius3 сказал:

Не смотря на то, что был на работе, основу для сканера написал. По сути, осталось дописать фильтр совпадений и визуальное отображение сигналов. Может завтра доделаю. В архив сигналы будут кидаться, но без обработки результатов игры (просто лень. Может со временем) При выводе, надо ли указывать, в каких сервисах совпадение было?

Сервисы нужно оставить... поскольку именно по ним (во всяком случае пока) - и идёт отбор...

[Noxius3 171]

3 минуты назад, Кирилл Клейменов сказал:

Сервисы нужно оставить... поскольку именно по ним (во всяком случае пока) - и идёт отбор...

Пока думал просто указывать колличество совпадений (по им и делать фильтр) добавлю тогда и запись сайтов.

[Noxius3 171]

12 часов назад, Олег Money сказал:

Друзья подскажите как переписать код, на https://www.betodds24.com/. Заранее Благодарен за ответ !

def soccervista():
    global predicts
    # https://www.newsoccervista.com/

    predicts['soccervista'] = []

    url = "https://www.newsoccervista.com"
    page = requests.get(url, headers={"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36"})

    soup = BeautifulSoup(page.content, "html.parser")
    games = soup.find_all(class_='twom')

    for game in games:
        home = game.find("div", {"class": "hometeam"}).text
        away = game.find("div", {"class": "awayteam"}).text

        if home == '' or away == '':
            continue

        game_class = Game()
        game_class.name = home + " vs " + away
        game_class.predict = game.find("strong").text

        predicts['soccervista'].append({'game': game_class.name, 'predict': game_class.predict})

Друг, по коду, проще обратиться на форумы по питону. Там быстрее помогут.  Но если тебе нравится прогноз из этого сервиса, то добавлю в парсер (пишу не в питоне, поэтому не смогу помочь)

[SergoTV 9]

23 часа назад, Noxius3 сказал:

В выходные напишу свой парсер. Планирую сделать регулярный опрос сайтов, фильтр по количеству совпадений прогнозов, уведомления о новом прогнозе, в процессе, еще что-нибудь добавлю

круто

[victorin 191]

20 часов назад, obtim сказал:

Если будет интерес, то посмотри на этот ресурс https://oddslogs.com - его фишка в том, что из бесплатных он единственный, кто предоставляет поминутную статистику матча, в ключе событий. Мало кто анализирует матчи в этом ключе.. В идеале конечно подцепить к ним стартовые составы и еще пару параметров. Но это привязка по словарю названий команд: слишком много гимора

Попа с ним в том, что я нечайно создал на него нагрузку при парсинге и теперь там владелец включил каптчу. Как результат парсить надо потоками, через прокси. Вторая жопа в том, что события на минуту матча там формируются динамически, в отдельном окне.

П.С. Зачем это мне: тут Фарел заявил, что ему хватает "ресурсов" Excel. Вдруг кто-то сможет его переубедить..

Сколько запросов на сайт успел отправить? я месяц назад тоже парсил с него каждые 10 минут одного матча 900тыс строк вышло запросов около 120тыс спарсилось за 2 дня капчи не было))

[obtim 394]

2 часа назад, victorin сказал:

Сколько запросов на сайт успел отправить? я месяц назад тоже парсил с него каждые 10 минут одного матча 900тыс строк вышло запросов около 120тыс спарсилось за 2 дня капчи не было))

Ты все парсил, включая последний столбцец(который в доп окне), где Attacks, Dangerous Attacks и т.п.?

Я парсил все в 10-ть потоков. Скорость в ключе одного потока не скажу. В итоге пришлось прокси вешать на каждый из потоков.

[victorin 191]

2 минуты назад, obtim сказал:

Ты все парсил, включая последний столбцец(который в доп окне), где Attacks, Dangerous Attacks и т.п.?

Да только минуты не каждую а через 10мин в 1 поток

[obtim 394]

1 час назад, victorin сказал:

Да только минуты не каждую а через 10мин в 1 поток

Ради интереса: через какой инструмент?

[victorin 191]

3 минуты назад, obtim сказал:

Ради интереса: через какой инструмент?

Надстройка для ексель excel vba которая

Изменено 16 июля, 2022 пользователем victorin

[Petrovich 324]

В 13.07.2022 в 13:24, obtim сказал:

https://github.com/999Samurai/predictions-scraper - скрипт на Питоне. Парсит forebet, predictz, windrawwin, soccervista, prosoccer, vitibet

Результат загоняет в Excel файл. Дальше смотрим, где больше всего сопадений(6 из 6-ти  ) Делаем ставку, выигрываем квартиру

Сегодня есть 6 из 6 совпало .

[Кирилл Клейменов 295]

В 13.07.2022 в 15:24, obtim сказал:

https://github.com/999Samurai/predictions-scraper - скрипт на Питоне. Парсит forebet, predictz, windrawwin, soccervista, prosoccer, vitibet

Результат загоняет в Excel файл. Дальше смотрим, где больше всего сопадений(6 из 6-ти  ) Делаем ставку, выигрываем квартиру

Что-ж... Настал момент истины... или квартиры... даже 3-х квартир...

Все на П1..:

[Кирилл Клейменов 295]

19 минут назад, Petrovich сказал:

Сегодня есть 6 из 6 совпало .

Я бы лично - топил за Данию..:

Brøndby IF vs AGF Aarhus

[Farel 891]

1 час назад, Кирилл Клейменов сказал:

Я бы лично - топил за Данию..:

Brøndby IF vs AGF Aarhus

   первый тур, тут что угодно может быть. Взять для примера тот же Зенит, в итоге ничью скатали. А остальное вообще кэф 1.4

 

[Олег Money 0]

Ребята, подскажите где может быть ошибка, пробую переписать на свой сайт.

def betodds24():
    global predicts
    # https://www.betodds24.com/Football
    
    predicts['betodds24'] = []

    url = "https://www.betodds24.com/Football"
    page = requests.get(url, headers={"user-agent": "Mozilla/5.0 (Windows NT 6.1; rv:102.0) Gecko/20100101 Firefox/102.0"})

    soup = BeautifulSoup(page.content, "html.parser")
    games = soup.find_all(class_="tr")

    for game in games:
        home = game.find("td", {"class":"hometeam"}).text
        avay = game.find("td", {"class":"awayteam"}).text

        if home == '' or away == '':
            continue

            game_class = Game()
        game_class.name = home + " vs " + away
        game_class.predict = game.find("th").text

        predicts['betodds24'].append({'game': game_class.name, 'predict': game_class.predict})
        

 

Изменено 17 июля, 2022 пользователем Олег Money

[Petrovich 324]

1 час назад, Кирилл Клейменов сказал:

Я бы лично - топил за Данию..:

Brøndby IF vs AGF Aarhus

Ну это понятно такой прогруз на него идет . По двум прогам на него отбор падает. дневные прогрузы оба зашли .Смотрим дальше.

Изменено 17 июля, 2022 пользователем Petrovich

[Farel 891]

4 часа назад, Кирилл Клейменов сказал:

Что-ж... Настал момент истины... или квартиры... даже 3-х квартир...

Все на П1..:

Копенгаген уже отлетел...

[Кирилл Клейменов 295]

9 часов назад, Кирилл Клейменов сказал:

Что-ж... Настал момент истины... или квартиры... даже 3-х квартир...

Все на П1..:

Потеря поставленной в БК квартиры...

Покупка новой - по двойной цене..))

[Rony 307]

8 часов назад, Кирилл Клейменов сказал:

Потеря поставленной в БК квартиры...

Покупка новой - по двойной цене..))

с таким подходом как бы почку не пришлось закладывать)

[Farel 891]

12 часов назад, Кирилл Клейменов сказал:

Потеря поставленной в БК квартиры...

Покупка новой - по двойной цене..))

По 3 ставкам судить... Хотя бы 100-150 ставок, тогда уже будет видно, есть ли в проге смысл.