Парсер Сайтов

[Yurec 56]

Любопытно. Буду изучать

[Yurec 56]

В 13.07.2022 в 13:24, obtim сказал:

скрипт на Питоне. Парсит forebet, predictz, windrawwin, soccervista, prosoccer, vitibet

загрузил на комп архив со скриптом

 

разархивировал Проинсталил PyCharm Community. Попробовал открыть scraper.py. Установил библиотеки requests beautifulsoup4 pandas cloudscraper. Но во время запуска скрипта выдало вот это >>>C:\Users\1\AppData\Local\Programs\Python\Python311\python.exe D:\XXL\predictions-scraper-main\scraper.py cloudscraper.exceptions.CloudflareChallengeError: Detected a Cloudflare version 2 Captcha challenge, This feature is not available in the opensource (free) version. Process finished with exit code 1<<<

 

Изменено 25 ноября, 2022 пользователем Yurec

[obtim 394]

19 часов назад, Yurec сказал:

загрузил на комп архив со скриптом

 

разархивировал Проинсталил PyCharm Community. Попробовал открыть scraper.py. Установил библиотеки requests beautifulsoup4 pandas cloudscraper. Но во время запуска скрипта выдало вот это >>>C:\Users\1\AppData\Local\Programs\Python\Python311\python.exe D:\XXL\predictions-scraper-main\scraper.py cloudscraper.exceptions.CloudflareChallengeError: Detected a Cloudflare version 2 Captcha challenge, This feature is not available in the opensource (free) version. Process finished with exit code 1<<<

 

cloudscraper==1.2.58

[Олег Ланин 34]

этот парсер ещё жив?

[Framee110 1]

5 часов назад, Олег Ланин сказал:

этот парсер ещё жив?

Жив конечно, просто на сколько он полезен. 

[obtim 394]

В 03.12.2022 в 13:01, Framee110 сказал:

Жив конечно, просто на сколько он полезен. 

Поднял архив, ради интереса. С 18-го(включительно) ноября по 07(включительно) декабря "мой отбор" дал 2,5 номинала. Вот профит по дням(в некоторые дни ставок нет):

2,48
2,08
0,95
-0,56
0,78
-1,32
-0,15
-3
-2,06
-0,02
-3,37
0,82
-1,7
3,88
1,95
-0,42
1,33
0,83

Изменено 8 декабря, 2022 пользователем obtim

[APROSTO 11]

В 17.07.2022 в 17:58, Олег Money сказал:

Ребята, подскажите где может быть ошибка, пробую переписать на свой сайт.

def betodds24():
    global predicts
    # https://www.betodds24.com/Football
    
    predicts['betodds24'] = []

    url = "https://www.betodds24.com/Football"
    page = requests.get(url, headers={"user-agent": "Mozilla/5.0 (Windows NT 6.1; rv:102.0) Gecko/20100101 Firefox/102.0"})

    soup = BeautifulSoup(page.content, "html.parser")
    games = soup.find_all(class_="tr")

    for game in games:
        home = game.find("td", {"class":"hometeam"}).text
        avay = game.find("td", {"class":"awayteam"}).text

        if home == '' or away == '':
            continue

            game_class = Game()
        game_class.name = home + " vs " + away
        game_class.predict = game.find("th").text

        predicts['betodds24'].append({'game': game_class.name, 'predict': game_class.predict})
        

 

Лучше для начала изучи основы Удава, потом прочитай документацию по тем библам которые будешь юзать для парсинга.

А так по коду ты не чего толком и не сделал. Плюс этот сайт имеет несколько страниц когда игр много. По этому мои рекомендации выше))

[APROSTO 11]

Всем привет.

1. Первый файл NINE это парсинг 8 сайтов. Один сайт парсится два раза так как там две колонки с резами. Парсинг идёт точного счёта

Сайты: Forebet, PredictZ, WinDrawWin, SoccerVista, ProSoccer (этот дважды парсится), Vitibet, BettingClosed, Feedinco.

2. Второй файл NINE_TOP это соответственно уже выжимка, то есть сделан логический отбор игр и выдан результат в виде исходов: П1, П2, 1Х, 2Х

3. Третий файл FOURTEEN это парсинг  файла NINE_TOP и 12 сайтов. Один сайт парсится два раза так как там две колонки с резами. Парсинг идёт исходов: П1, П2, 1Х, 2Х

Сайты: Forebet, PredictZ, WinDrawWin, SoccerVista, ProSoccer, Vitibet, BettingClosed, Feedinco (этот дважды парсится), Zulubet, BetOdds24, WAGER1x2, talkFootball.

4. Четвёртый файл FOURTEEN_TOP это соответственно уже выжимка, то есть сделан логический отбор игр и выдан результат в виде исходов: П1, П2, 1Х, 2Х

NINE.xlsx NINE_TOP 16-02-2023 17-05.xlsx FOURTEEN.xlsx FOURTEEN_TOP 16-02-2023 17-05.xlsx

[APROSTO 11]

35 минут назад, APROSTO сказал:

Всем привет.

1. Первый файл NINE это парсинг 8 сайтов. Один сайт парсится два раза так как там две колонки с резами. Парсинг идёт точного счёта

Сайты: Forebet, PredictZ, WinDrawWin, SoccerVista, ProSoccer (этот дважды парсится), Vitibet, BettingClosed, Feedinco.

2. Второй файл NINE_TOP это соответственно уже выжимка, то есть сделан логический отбор игр и выдан результат в виде исходов: П1, П2, 1Х, 2Х

3. Третий файл FOURTEEN это парсинг  файла NINE_TOP и 12 сайтов. Один сайт парсится два раза так как там две колонки с резами. Парсинг идёт исходов: П1, П2, 1Х, 2Х

Сайты: Forebet, PredictZ, WinDrawWin, SoccerVista, ProSoccer, Vitibet, BettingClosed, Feedinco (этот дважды парсится), Zulubet, BetOdds24, WAGER1x2, talkFootball.

4. Четвёртый файл FOURTEEN_TOP это соответственно уже выжимка, то есть сделан логический отбор игр и выдан результат в виде исходов: П1, П2, 1Х, 2Х

NINE.xlsx 17.33 кБ · 5 загрузок NINE_TOP 16-02-2023 17-05.xlsx 5.55 кБ · 2 загрузки FOURTEEN.xlsx 18.09 кБ · 2 загрузки FOURTEEN_TOP 16-02-2023 17-05.xlsx 5.42 кБ · 1 загрузка

Может кого то в вёл в заблуждения. Сразу извиняюсь.

Это не сама прога по парсингу, а то что она выдаёт.

Если интересно, могу покидать такие файлы некоторое время.

Изменено 16 февраля, 2023 пользователем APROSTO

[fenix 453]

1 час назад, APROSTO сказал:

Может кого то в вёл в заблуждения. Сразу извиняюсь.

Это не сама прога по парсингу, а то что она выдаёт.

Если интересно, могу покидать такие файлы некоторое время.

Договаривайте до конца...

[Yurec 56]

1 час назад, APROSTO сказал:

Это не сама прога по парсингу, а то что она выдаёт.

А саму прогу/инсталяху почему не выложил?

[APROSTO 11]

1 час назад, fenix сказал:

Договаривайте до конца...

Не совсем понял, про что вы?

[APROSTO 11]

28 минут назад, Yurec сказал:

А саму прогу/инсталяху почему не выложил?

Потому что прогу заказал клиент, и пока не оплатил. Вот решил тут пока покидать с этой проги полученные файлы.

[Zmey 7]

Да цену себе чувак набивает. Бабло с форума поиметь хочет. Что непонятно то))

[fenix 453]

1 час назад, APROSTO сказал:

Не совсем понял, про что вы?

Я думаю понимаете.

[APROSTO 11]

Народ вы что такие агрессивные?

Ещё раз поясню. Был заказ на эту разработку. Я его выполнил. Заказчик ещё бабло не перевёл и чего-то тянет. Соответственно я предложил какое то время пока заказчик не оплатит, покидать сюда эксель файлы с этой проги. Продать что-то тут у меня и в мыслях не было. А скинуть сюда прогу за спасибо я тоже не готов + жду оплаты от заказчика. Если заказчик откажется от оплаты, тогда просто эта прога улетит в помойку. Но либо если после отказа заказчика оплатить прогу, кто-то с форума заинтересуется (вдруг), то можем договорится о цене. И последний вариант, если заказчик оплатит, тогда соответственно я сюда не чего не смогу кидать с этой проги.

[fenix 453]

21 минуту назад, APROSTO сказал:

Народ вы что такие агрессивные?

Ещё раз поясню. Был заказ на эту разработку. Я его выполнил. Заказчик ещё бабло не перевёл и чего-то тянет. Соответственно я предложил какое то время пока заказчик не оплатит, покидать сюда эксель файлы с этой проги. Продать что-то тут у меня и в мыслях не было. А скинуть сюда прогу за спасибо я тоже не готов + жду оплаты от заказчика. Если заказчик откажется от оплаты, тогда просто эта прога улетит в помойку. Но либо если после отказа заказчика оплатить прогу, кто-то с форума заинтересуется (вдруг), то можем договорится о цене. И последний вариант, если заказчик оплатит, тогда соответственно я сюда не чего не смогу кидать с этой проги.

Да так и надо было сначала написать, когда прогу так красиво описывали - заказчик походу кинул, могу покидать прогнозики, если заитересуетесь "(вдруг)" могу вам продать...)))

[Yurec 56]

маланские мульки

[APROSTO 11]

34 минуты назад, fenix сказал:

Да так и надо было сначала написать, когда прогу так красиво описывали - заказчик походу кинул, могу покидать прогнозики, если заитересуетесь "(вдруг)" могу вам продать...)))

Да вроде не чего такого красивого не описывал. 

Но если что не серчайте. Я тут новенький. 

Сам ставками на спорт не занимаюсь. Но тему покурил не плохо, для написания этой проги. 

Возможно её можно улучшить, но я не знаю как. Точнее не понимаю, что ещё можно в код добавить для точности. Если вдруг будут предложения, то могу попробовать хотелки вшить. 

[APROSTO 11]

Всем привет. Очередная партия файлов.

1. Первый файл NINE тут данные с 8 сайтов. С одного сайта данные берутся два раза, так как там две колонки с резами. Данные берутся по точному счёту.

Сайты: Forebet, PredictZ, WinDrawWin, SoccerVista, ProSoccer (с этого сайта данные берутся два раза), Vitibet, BettingClosed, Feedinco.

2. Второй файл NINE_TOP это соответственно уже выжимка, то есть сделан логический отбор игр и выдан результат в виде исходов: П1, П2, 1Х, 2Х

3. Третий файл FOURTEEN тут данные с файла NINE_TOP и 12 сайтов. С одного сайта данные берутся два раза, так как там две колонки с резами. Данные берутся по исходам: П1, П2, 1Х, 2Х

Сайты: Forebet, PredictZ, WinDrawWin, SoccerVista, ProSoccer, Vitibet, BettingClosed, Feedinco (с этого сайта данные берутся два раза), Zulubet, BetOdds24, WAGER1x2, talkFootball.

4. Четвёртый файл FOURTEEN_TOP это соответственно уже выжимка, то есть сделан логический отбор игр и выдан результат в виде исходов: П1, П2, 1Х, 2Х

NINE.xlsx NINE_TOP 17-02-2023 13-48.xlsx FOURTEEN.xlsx FOURTEEN_TOP 17-02-2023 13-48.xlsx

[Zmey 7]

А что в такой траурной рамке? Заказчик слился?

[APROSTO 11]

7 минут назад, Zmey сказал:

А что в такой траурной рамке? Заказчик слился?

Про рамку не понял. Про заказчика пока не понятно, слился или нет. Пока завтраками кормит.

[Zmey 7]

9 минут назад, APROSTO сказал:

Про рамку не понял. Про заказчика пока не понятно, слился или нет. Пока завтраками кормит.

Текст в траурной рамке? Это реквием по заказчику? Типа суетись дружок, а то твой грааль налево толкну

[Zmey 7]

11 минут назад, APROSTO сказал:

Про рамку не понял. Про заказчика пока не понятно, слился или нет. Пока завтраками кормит.

Сколько же Вы содрать с него решили, что он тугодум такой?

[APROSTO 11]

1 час назад, Zmey сказал:

Сколько же Вы содрать с него решили, что он тугодум такой?

За всё 50 тыр. Так как несколько сайтов с защитой от клоудфеера (так как старые системы обхода уже не работают как надо, тут несколько вариантов (1. прокси, 2. покупка сервиса по разгадыванию капчи и 3. это то что я внедрил. Первые два это затраты на прокси или сервис по капче, а третья не стоит затрат), которых нужно обойти. + туда вкарячен бота для телеги чтобы слал эти файлы автоматом + всё это в exe файле и не нужно ставить среду разработчика.