Парсер Сайтов

[Олег Money 0]

Только что, obtim сказал:

В соседней теме ответил, как можно использовать..

а можно добавить свои сайты в exel или это только phyton ?

[obtim 395]

3 минуты назад, Олег Money сказал:

а можно добавить свои сайты в exel или это только phyton ?

Только редактирую(дописывая) исходный код Питона. У каждого из сайтов своя верстка..

[Farel 979]

19 минут назад, obtim сказал:

Парни, на самом деле обсуждаемая сейчас тема - хороший стимул стартануть в программировании на Питоне. Понимаю, что все привыкли к Экселю, но он как инструмент - устарел. По программированию в рамках беттинга есть курс от ОфВарианс и Куасеры. Если не заломает, то допарсю второй и выложу.

 ошибаетесь, эксель программы ничем не уступают, смотря как все делать. У меня в проге встроено 15 программ, более 35 алгоритмов рассчитывает исходы 1 х 2. То что собираетесь сделать, у меня уже давно реализовано. Тот же витибет, алгоритм его схож с пуассоном. В данном случае важно использовать разноплановые алгоритмы, тогда и прибыльная система получится.

[obtim 395]

2 минуты назад, Farel сказал:

 ошибаетесь, эксель программы ничем не уступают, смотря как все делать. У меня в проге встроено 15 программ, более 35 алгоритмов рассчитывает исходы 1 х 2. То что собираетесь сделать, у меня уже давно реализовано. Тот же витибет, алгоритм его схож с пуассоном. В данном случае важно использовать разноплановые алгоритмы, тогда и прибыльная система получится.

У Excel есть ограничение: Общее количество строк на листе 1 048 576. Попробуйте в него загрузить исторический архив с поминутной статистикой матча.. 

[Farel 979]

2 минуты назад, obtim сказал:

У Excel есть ограничение: Общее количество строк на листе 1 048 576. Попробуйте в него загрузить исторический архив с поминутной статистикой матча.. 

  столько строк для работы на ставках не требуется 

[Rony 348]

1 час назад, Petrovich сказал:

Это про что вы сейчас ?

про сам парс. и метод. разве не понятно?)))))

[gennadg 18]

9 часов назад, Eddie23Ru сказал:

смотрим ролик который скинул obtim

по ссылке https://www.python.org/downloads/ выбираем версию питончика под свою операционку

качаем и устанавливаем

запускаем файл scraper.py через IDLE:

далее жмем Run:

Если ранее не работали с питоном - возможно некоторых модулей у вас не будет и их нужно будет качнуть

можно через командную строку

1. запускаем через пуск> выполнить> cmd
2. пишем python -m pip install requests

таким образом установится модуль Requests

далее опять пробуете запустить Run-ом и смотрите какие еще модули нужны будут

мне понадобились Requests, bs4, pandas, cloudscraper и xlsxwriter
python -m pip install requests
python -m pip install beautifulsoup4
python -m pip install pandas
python -m pip install cloudscraper
python -m pip install xlsxwriter

после этого все заработало и в папке с файлом scraper.py появился файл эксель с прогнозами

У меня не сразу сработало. Мешал Касперский. Отключил - тогда установились модули

[Олег Money 0]

2 часа назад, obtim сказал:

Только редактирую(дописывая) исходный код Питона. У каждого из сайтов своя верстка..

то есть в Питоне, там где сайты заменить на свои, или чуток сложнее) ?

[obtim 395]

6 минут назад, Олег Money сказал:

то есть в Питоне, там где сайты заменить на свои, или чуток сложнее) ?

Чуток сложнее. Представь что у тебя есть велосипед, автомобиль и скейтборд. Все они стоят в твоем гараже и называются колесные транспортные средства. Ты можешь ставить туда новые транспортные средства, но если это карьерный Белаз, то он просто туда не влезет. А если это лыжи, то тебе надо немного извратиться, что бы из них сделать КОЛЕСНОЕ транспортное средство.

На самом деле эта тема очень удобна, что бы начать входить в программирование: есть задача по добавлению "новых транспортных средств в гараж". Без программирования и анализа ты останешся мамонтом в мире ставок   Либо придется постоянно платить за волшебную пилюлю..

 

ВАЖНО: согласно профилю автор проекта на Гите - 18-ти летний парень..

Изменено 14 июля, 2022 пользователем obtim

[gennadg 18]

9 часов назад, Eddie23Ru сказал:

смотрим ролик который скинул obtim

по ссылке https://www.python.org/downloads/ выбираем версию питончика под свою операционку

качаем и устанавливаем

запускаем файл scraper.py через IDLE:

далее жмем Run:

Если ранее не работали с питоном - возможно некоторых модулей у вас не будет и их нужно будет качнуть

можно через командную строку

1. запускаем через пуск> выполнить> cmd
2. пишем python -m pip install requests

таким образом установится модуль Requests

далее опять пробуете запустить Run-ом и смотрите какие еще модули нужны будут

мне понадобились Requests, bs4, pandas, cloudscraper и xlsxwriter
python -m pip install requests
python -m pip install beautifulsoup4
python -m pip install pandas
python -m pip install cloudscraper
python -m pip install xlsxwriter

после этого все заработало и в папке с файлом scraper.py появился файл эксель с прогнозами

У меня модули установились, но на команде import в 1-й строке выдается ошибка. Питон почему-то не считает, что модули установились. Может надо еще как-то пути к ним просать? Не знаю пока как.

[Олег Money 0]

5 минут назад, obtim сказал:

Чуток сложнее. Представь что у тебя есть велосипед, автомобиль и скейтборд. Все они стоят в твоем гараже и называются колесные транспортные средства. Ты можешь ставить туда новые транспортные средства, но если это карьерный Белаз, то он просто туда не влезет. А если это лыжи, то тебе надо немного извратиться, что бы из них сделать КОЛЕСНОЕ транспортное средство.

На самом деле эта тема очень удобна, что бы начать входить в программирование: есть задача по добавлению "новых транспортных средств в гараж". Без программирования и анализа ты останешся мамонтом в мире ставок   Либо придется постоянно платить за волшебную пилюлю..

 

ВАЖНО: согласно профилю автор проекта на Гите - 18-ти летний парень..

Спасибо, Питон наше всё)

[gennadg 18]

1 час назад, gennadg сказал:

У меня модули установились, но на команде import в 1-й строке выдается ошибка. Питон почему-то не считает, что модули установились. Может надо еще как-то пути к ним просать? Не знаю пока как.

Теперь все заработало. Итак, нужно из CMD (командной строки) выполнить все эти команды pip -m ...

Если не получается, то отключить антивирус. Далее, если у Вас Windows 10, то работает подедняя версия Python.

Как ее установить показано в ролике.

А вот если Windows 7 (как уменя), то как раз последняя версия Python на ней не работает. Поэтому я установиил версию python для W7. Кстати на python.org ее почему-то не нашел. А скачал с сайта по ссылке

https://filezebra.ru/developers/python-windows7/ (на вкладке параметры)

Теперь, когда скрипт отработал, получился файл predicts.xlsx для Exlel

[Кирилл Клейменов 300]

19 часов назад, Кирилл Клейменов сказал:

Может не стоит шести совпадений дожидаться... вот результат по двум конторам (первой и последней)..

Если и дальше так пойдёт - согласен на пол-хаты..))

Вот отбор на П1 и П2 соответственно..:

Как это не странно... но пока - отбор по двум крайним - так и плюсует..))

Два нижних отбора - на П1 - сегодня вечером...

[gennadg 18]

4 часа назад, Кирилл Клейменов сказал:

Как это не странно... но пока - отбор по двум крайним - так и плюсует..))

Два нижних отбора - на П1 - сегодня вечером...

А ты программой вносишь результат и кэфы? Можешь поделиться как. Для анализа очень полезно бы было.

[Eddie23Ru 48]

13 часов назад, gennadg сказал:

Теперь все заработало. Итак, нужно из CMD (командной строки) выполнить все эти команды pip -m ...

Если не получается, то отключить антивирус. Далее, если у Вас Windows 10, то работает подедняя версия Python.

Как ее установить показано в ролике.

А вот если Windows 7 (как уменя), то как раз последняя версия Python на ней не работает. Поэтому я установиил версию python для W7. Кстати на python.org ее почему-то не нашел. А скачал с сайта по ссылке

https://filezebra.ru/developers/python-windows7/ (на вкладке параметры)

Теперь, когда скрипт отработал, получился файл predicts.xlsx для Exlel

ну конечно же на python.org есть все доступные инсталлеры, просто немного нужно поискать, поэтому я и писал что искать нужно для своей версии ОС (там также даны комменты какая версия питона к какой винде подходит)...

на вин7 последний рабочий питон - 3.8.10, инсталляторы есть, как видно на картинке...

 

[Eddie23Ru 48]

ребятушки, скиньте пж на сегодня файлик...
а то я на работе сейчас, а на рабочем нет питона, и удаленно к домашнему не подключиться((

[gennadg 18]

Файл на сегодня

 

predicts.xlsx

[Кирилл Клейменов 300]

5 часов назад, gennadg сказал:

А ты программой вносишь результат и кэфы? Можешь поделиться как. Для анализа очень полезно бы было.

Нет - пока сохраняю и проверяю отбор вручную...

[Кирилл Клейменов 300]

2 часа назад, Eddie23Ru сказал:

ребятушки, скиньте пж на сегодня файлик...
а то я на работе сейчас, а на рабочем нет питона, и удаленно к домашнему не подключиться((

Файл - нужно парсить и проверять - в течении дня... К примеру - отбор из пяти контор в ряд - который прошел в плюс -  появился почти перед самой игрой..

[Petrovich 325]

43 минуты назад, Кирилл Клейменов сказал:

Файл - нужно парсить и проверять - в течении дня... К примеру - отбор из пяти контор в ряд - который прошел в плюс -  появился почти перед самой игрой..

Это что за матч?

[Noxius3 171]

В выходные напишу свой парсер. Планирую сделать регулярный опрос сайтов, фильтр по количеству совпадений прогнозов, уведомления о новом прогнозе, в процессе, еще что-нибудь добавлю

[Кирилл Клейменов 300]

19 минут назад, Noxius3 сказал:

В выходные напишу свой парсер. Планирую сделать регулярный опрос сайтов, фильтр по количеству совпадений прогнозов, уведомления о новом прогнозе, в процессе, еще что-нибудь добавлю

Здравая идея..! Только нужно - что-бы в Архив скидывал найденное...

А в идеале (это позднее - если Архив покажет рентабельность) - добавить сигналы в Телегу..

 

Изменено 15 июля, 2022 пользователем Кирилл Клейменов

[Кирилл Клейменов 300]

35 минут назад, Petrovich сказал:

Это что за матч?

Это была игра - Riga FC vs Derry City (она есть в скане ниже)

Сделал отбор на сегодня - последить за проходом..:

4 игры на П1 и 2 игры на П2

[Noxius3 171]

Не смотря на то, что был на работе, основу для сканера написал. По сути, осталось дописать фильтр совпадений и визуальное отображение сигналов. Может завтра доделаю. В архив сигналы будут кидаться, но без обработки результатов игры (просто лень. Может со временем) При выводе, надо ли указывать, в каких сервисах совпадение было?

[Олег Money 0]

Только что, Noxius3 сказал:

Не смотря на то, что был на работе, основу для сканера написал. По сути, осталось дописать фильтр совпадений и визуальное отображение сигналов. Может завтра доделаю. В архив сигналы будут кидаться, но без обработки результатов игры (просто лень. Может со временем) При выводе, надо ли указывать, в каких сервисах совпадение было?

Да, было бы супер !