Парсер Сайтов

[N H 6]

Traceback (most recent call last):
** IDLE Internal Exception: 
cloudscraper.exceptions.CloudflareChallengeError: Detected a Cloudflare version 2 Captcha challenge, This feature is not available in the opensource (free) version.

 

как убрать?

[InfinityBook 100 088]

1 час назад, N H сказал:

Traceback (most recent call last):
** IDLE Internal Exception: 
cloudscraper.exceptions.CloudflareChallengeError: Detected a Cloudflare version 2 Captcha challenge, This feature is not available in the opensource (free) version.

 

как убрать?

Cloudflare никак не убрать, только перебором IP адресов

[obtim 405]

3 часа назад, N H сказал:

Traceback (most recent call last):
** IDLE Internal Exception: 
cloudscraper.exceptions.CloudflareChallengeError: Detected a Cloudflare version 2 Captcha challenge, This feature is not available in the opensource (free) version.

 

как убрать?

Понижением версии модуля, который за CloudFlare каптчу отвечает

[N H 6]

3 часа назад, obtim сказал:

Понижением версии модуля, который за CloudFlare каптчу отвечает

как это сделать? 

ну с попытки десятой , оно запускается кстати , но всё равно стрёмно как то там ещё какоий то ворнинг пишет.

[obtim 405]

4 часа назад, N H сказал:

как это сделать? 

ну с попытки десятой , оно запускается кстати , но всё равно стрёмно как то там ещё какоий то ворнинг пишет.

cloudscraper версии 1.2.58 через среду в Анаконде или requerments

[N H 6]

13 часов назад, obtim сказал:

cloudscraper версии 1.2.58 через среду в Анаконде или requerments

я установил анаконду , и вроде скачал нужную версию скрапера на комп в папку. Но как в среду конды его установить? я не понял

[obtim 405]

1 час назад, N H сказал:

я установил анаконду , и вроде скачал нужную версию скрапера на комп в папку. Но как в среду конды его установить? я не понял

Создать окружение(Enviroments), в которые установить нужные зависимости. Под нужную версию Питона. У себя импортируй в окружение этот файл: 

Scrapper.yaml

[N H 6]

10 минут назад, obtim сказал:

Создать окружение(Enviroments), в которые установить нужные зависимости. Под нужную версию Питона. У себя импортируй в окружение этот файл: 

Scrapper.yamlНедоступно

скачать файл не могу ( из за того что я новенький на форуме?)

[obtim 405]

11 минут назад, N H сказал:

скачать файл не могу ( из за того что я новенький на форуме?)

https://dropmefiles.com/1yV1t

[N H 6]

42 минуты назад, obtim сказал:

https://dropmefiles.com/1yV1t

спасибо , сейчас буду пробовать

[N H 6]

3 часа назад, obtim сказал:

Создать окружение(Enviroments), в которые установить нужные зависимости. Под нужную версию Питона. У себя импортируй в окружение этот файл: 

Scrapper.yamlНедоступно

а как узнать какая версия путона нужна?

[obtim 405]

3 минуты назад, N H сказал:

а как узнать какая версия путона нужна?

Внутри файла она указан. Его можно в текстовом редакторе открыть..

[N H 6]

7 минут назад, obtim сказал:

Внутри файла она указан. Его можно в текстовом редакторе открыть..

попытался открыть файл скрупер через идле Конды , вот что выдаёт

Warning (from warnings module):
  File "C:\Users\artes\anaconda3\lib\site-packages\numpy\__init__.py", line 148
    from . import _distributor_init
UserWarning: mkl-service package failed to import, therefore Intel(R) MKL initialization ensuring its correct out-of-the box operation under condition when Gnu OpenMP had already been loaded by Python process is not assured. Please install mkl-service package, see http://github.com/IntelPython/mkl-service
Traceback (most recent call last):
  File "C:\Users\artes\OneDrive\Desktop\scraper\scraper.py", line 3, in <module>
    import pandas as pd
  File "C:\Users\artes\anaconda3\lib\site-packages\pandas\__init__.py", line 16, in <module>
    raise ImportError(
ImportError: Unable to import required dependencies:
numpy: 

IMPORTANT: PLEASE READ THIS FOR ADVICE ON HOW TO SOLVE THIS ISSUE!

Importing the numpy C-extensions failed. This error can happen for
many reasons, often due to issues with your setup or how NumPy was
installed.

We have compiled some common reasons and troubleshooting tips at:

    https://numpy.org/devdocs/user/troubleshooting-importerror.html

Please note and check the following:

  * The Python version is: Python3.9 from "C:\Users\artes\anaconda3\python.exe"
  * The NumPy version is: "1.21.5"

and make sure that they are the versions you expect.
Please carefully study the documentation linked above for further help.

Original error was: DLL load failed while importing _multiarray_umath: Не найден указанный модуль.

 

поставил в среду питон 3.9, может я неправильно открываю скрупер?
а как правильно его открыть в среде? как это сделать?

[N H 6]

29 минут назад, obtim сказал:

Внутри файла она указан. Его можно в текстовом редакторе открыть..

поставил клаудскрапер 1258 и заработало. Спасибо

[APROSTO 11]

В 07.03.2023 в 15:09, InfinityBook сказал:

Cloudflare никак не убрать, только перебором IP адресов

Убирается, без лишнего гемороя. 

[APROSTO 11]

В 01.03.2023 в 17:53, obtim сказал:

Возможно будет интересно: https://github.com/brlabrussia/ml-scrapers/tree/39e22b7c5ac42e4393eedb3b0a5321aa13af2482/app/sentiment_ratings/spiders 

По ссылке просто перечень сервисов. Сам проект по дереву выше, на гитхабе.

Scrapy не пользуюсь, он мне не сильно зашёл. Лучше requst, bs4, selenium 4. 

А лучше всего через json всё вытаскивать)

[N H 6]

по моему с предиктс и виндроввин перестало инфу брать

[N H 6]

только у меня?

[Nick 8]

Всем привет!

В рамках обучения парсингу на Python написал небольшой скрипт, который забирает список игр с сайта футбольной статистики и считает "честный" коэффициент, учитывая только домашние и выездные игры команд за последние два сезона в текущей лиге. Также прикрутил очень топорный подсчет голов для хозяев и гостей, по той же схеме. 

Смысл, по идее, заключается в том, что если БК дает коэффициент выше, чем в таблице - можно рассмотреть вариант для ставки, которая будет "валуйной" (опять же, в очень топорном виде). В колонках П1, Х и П2 жирным шрифтом выделены варианты, в которых сумма побед хозяев на своем поле и поражений гостей на выезде выше 50%.

Времени тестировать нет, поэтому ищу энтузиастов, которые помогут с ведением статистики. С меня - данные вот в таком формате, с вас - идеи и предложения:) Сразу оговорюсь - ничего не продаю, потому что цена такой разработке, в лучшем случае, рублей пятьсот на фрилансе. Цель публикации - найти "друзей по интересам".

2023_04_07.xlsx

Изменено 6 апреля, 2023 пользователем Nick

[brioni 16]

Может тогда сюда добавьте парсер кф того же ноугол или бет 365, например? Для удобства.

[Nick 8]

6 минут назад, brioni сказал:

Может тогда сюда добавьте парсер кф того же ноугол или бет 365, например? Для удобства.

Добавление кэфов прям напрашивается, но пока не решил для себя два вопроса:

1) Как обойти проблему разного названия команд на разных ресурсах. Собирать словарь соответствий вручную нет времени, а универсальное решение пока не нашел.

2) Насколько актуальны будут коэффициенты, собранные при формировании таблицы, хотябы через 12 часов, потому что данные собираются, как правило, накануне игрового дня.

Можно, как местные умельцы, прикрутить прямо к таблице макрос с запросами к тому же ноугол, чтобы всегда иметь под рукой актуальные кэфы, но обращение к сайтам из экселя - это какое-то утонченное изварщение для истинных ценителей боли, я к такому пока не готов

[brioni 16]

14 минут назад, Nick сказал:

но обращение к сайтам из экселя - это какое-то утонченное изварщение для истинных ценителей боли, я к такому пока не готов

Насчет боли согласен, но все тут эстеты - ценители питона и им подобных. Мы люди попроще, эксель - наше все) так что парсер как раз был бы оч.уместен. Заранее спасибо за Ваш труд!

[Yurec 58]

2 часа назад, Nick сказал:

Цель публикации - найти "друзей по интересам".

Приветствую. Что это за столбцы? Эти циферки как применить?

[Yurec 58]

57 минут назад, Nick сказал:

1) Как обойти проблему разного названия команд на разных ресурсах.

fuzzy lookup решает проблему, но ручками

[brioni 16]

9 часов назад, Yurec сказал:

Что это за столбцы? Эти циферки как применить?

Это примерный тотал голов от той и другой команды в матче на основе статы за прошедше 2 года только