Опубликовано 7 марта, 20233 г. Traceback (most recent call last): ** IDLE Internal Exception: cloudscraper.exceptions.CloudflareChallengeError: Detected a Cloudflare version 2 Captcha challenge, This feature is not available in the opensource (free) version. как убрать?
Опубликовано 7 марта, 20233 г. Администраторы 1 час назад, N H сказал: Traceback (most recent call last): ** IDLE Internal Exception: cloudscraper.exceptions.CloudflareChallengeError: Detected a Cloudflare version 2 Captcha challenge, This feature is not available in the opensource (free) version. как убрать? Cloudflare никак не убрать, только перебором IP адресов
Опубликовано 7 марта, 20233 г. Автор 3 часа назад, N H сказал: Traceback (most recent call last): ** IDLE Internal Exception: cloudscraper.exceptions.CloudflareChallengeError: Detected a Cloudflare version 2 Captcha challenge, This feature is not available in the opensource (free) version. как убрать? Понижением версии модуля, который за CloudFlare каптчу отвечает
Опубликовано 7 марта, 20233 г. 3 часа назад, obtim сказал: Понижением версии модуля, который за CloudFlare каптчу отвечает как это сделать? ну с попытки десятой , оно запускается кстати , но всё равно стрёмно как то там ещё какоий то ворнинг пишет.
Опубликовано 7 марта, 20233 г. Автор 4 часа назад, N H сказал: как это сделать? ну с попытки десятой , оно запускается кстати , но всё равно стрёмно как то там ещё какоий то ворнинг пишет. cloudscraper версии 1.2.58 через среду в Анаконде или requerments
Опубликовано 8 марта, 20233 г. 13 часов назад, obtim сказал: cloudscraper версии 1.2.58 через среду в Анаконде или requerments я установил анаконду , и вроде скачал нужную версию скрапера на комп в папку. Но как в среду конды его установить? я не понял
Опубликовано 8 марта, 20233 г. Автор 1 час назад, N H сказал: я установил анаконду , и вроде скачал нужную версию скрапера на комп в папку. Но как в среду конды его установить? я не понял Создать окружение(Enviroments), в которые установить нужные зависимости. Под нужную версию Питона. У себя импортируй в окружение этот файл: Scrapper.yaml
Опубликовано 8 марта, 20233 г. 10 минут назад, obtim сказал: Создать окружение(Enviroments), в которые установить нужные зависимости. Под нужную версию Питона. У себя импортируй в окружение этот файл: Scrapper.yamlНедоступно скачать файл не могу ( из за того что я новенький на форуме?)
Опубликовано 8 марта, 20233 г. Автор 11 минут назад, N H сказал: скачать файл не могу ( из за того что я новенький на форуме?) https://dropmefiles.com/1yV1t
Опубликовано 8 марта, 20233 г. 42 минуты назад, obtim сказал: https://dropmefiles.com/1yV1t спасибо , сейчас буду пробовать
Опубликовано 8 марта, 20233 г. 3 часа назад, obtim сказал: Создать окружение(Enviroments), в которые установить нужные зависимости. Под нужную версию Питона. У себя импортируй в окружение этот файл: Scrapper.yamlНедоступно а как узнать какая версия путона нужна? 🙂
Опубликовано 8 марта, 20233 г. Автор 3 минуты назад, N H сказал: а как узнать какая версия путона нужна? 🙂 Внутри файла она указан. Его можно в текстовом редакторе открыть..
Опубликовано 8 марта, 20233 г. 7 минут назад, obtim сказал: Внутри файла она указан. Его можно в текстовом редакторе открыть.. попытался открыть файл скрупер через идле Конды , вот что выдаёт Warning (from warnings module): File "C:\Users\artes\anaconda3\lib\site-packages\numpy\__init__.py", line 148 from . import _distributor_init UserWarning: mkl-service package failed to import, therefore Intel(R) MKL initialization ensuring its correct out-of-the box operation under condition when Gnu OpenMP had already been loaded by Python process is not assured. Please install mkl-service package, see http://github.com/IntelPython/mkl-service Traceback (most recent call last): File "C:\Users\artes\OneDrive\Desktop\scraper\scraper.py", line 3, in <module> import pandas as pd File "C:\Users\artes\anaconda3\lib\site-packages\pandas\__init__.py", line 16, in <module> raise ImportError( ImportError: Unable to import required dependencies: numpy: IMPORTANT: PLEASE READ THIS FOR ADVICE ON HOW TO SOLVE THIS ISSUE! Importing the numpy C-extensions failed. This error can happen for many reasons, often due to issues with your setup or how NumPy was installed. We have compiled some common reasons and troubleshooting tips at: https://numpy.org/devdocs/user/troubleshooting-importerror.html Please note and check the following: * The Python version is: Python3.9 from "C:\Users\artes\anaconda3\python.exe" * The NumPy version is: "1.21.5" and make sure that they are the versions you expect. Please carefully study the documentation linked above for further help. Original error was: DLL load failed while importing _multiarray_umath: Не найден указанный модуль. поставил в среду питон 3.9, может я неправильно открываю скрупер? а как правильно его открыть в среде? как это сделать?
Опубликовано 8 марта, 20233 г. 29 минут назад, obtim сказал: Внутри файла она указан. Его можно в текстовом редакторе открыть.. поставил клаудскрапер 1258 и заработало. Спасибо ❤️
Опубликовано 16 марта, 20233 г. В 07.03.2023 в 15:09, InfinityBook сказал: Cloudflare никак не убрать, только перебором IP адресов Убирается, без лишнего гемороя.
Опубликовано 16 марта, 20233 г. В 01.03.2023 в 17:53, obtim сказал: Возможно будет интересно: https://github.com/brlabrussia/ml-scrapers/tree/39e22b7c5ac42e4393eedb3b0a5321aa13af2482/app/sentiment_ratings/spiders По ссылке просто перечень сервисов. Сам проект по дереву выше, на гитхабе. Scrapy не пользуюсь, он мне не сильно зашёл. Лучше requst, bs4, selenium 4. А лучше всего через json всё вытаскивать)
Опубликовано 6 апреля, 20233 г. Всем привет! В рамках обучения парсингу на Python написал небольшой скрипт, который забирает список игр с сайта футбольной статистики и считает "честный" коэффициент, учитывая только домашние и выездные игры команд за последние два сезона в текущей лиге. Также прикрутил очень топорный подсчет голов для хозяев и гостей, по той же схеме. Смысл, по идее, заключается в том, что если БК дает коэффициент выше, чем в таблице - можно рассмотреть вариант для ставки, которая будет "валуйной" (опять же, в очень топорном виде). В колонках П1, Х и П2 жирным шрифтом выделены варианты, в которых сумма побед хозяев на своем поле и поражений гостей на выезде выше 50%. Времени тестировать нет, поэтому ищу энтузиастов, которые помогут с ведением статистики. С меня - данные вот в таком формате, с вас - идеи и предложения:) Сразу оговорюсь - ничего не продаю, потому что цена такой разработке, в лучшем случае, рублей пятьсот на фрилансе. Цель публикации - найти "друзей по интересам". 2023_04_07.xlsx Изменено 6 апреля, 20233 г. пользователем Nick
Опубликовано 6 апреля, 20233 г. Может тогда сюда добавьте парсер кф того же ноугол или бет 365, например? Для удобства.
Опубликовано 6 апреля, 20233 г. 6 минут назад, brioni сказал: Может тогда сюда добавьте парсер кф того же ноугол или бет 365, например? Для удобства. Добавление кэфов прям напрашивается, но пока не решил для себя два вопроса: 1) Как обойти проблему разного названия команд на разных ресурсах. Собирать словарь соответствий вручную нет времени, а универсальное решение пока не нашел. 2) Насколько актуальны будут коэффициенты, собранные при формировании таблицы, хотябы через 12 часов, потому что данные собираются, как правило, накануне игрового дня. Можно, как местные умельцы, прикрутить прямо к таблице макрос с запросами к тому же ноугол, чтобы всегда иметь под рукой актуальные кэфы, но обращение к сайтам из экселя - это какое-то утонченное изварщение для истинных ценителей боли, я к такому пока не готов🙂
Опубликовано 6 апреля, 20233 г. 14 минут назад, Nick сказал: но обращение к сайтам из экселя - это какое-то утонченное изварщение для истинных ценителей боли, я к такому пока не готов Насчет боли согласен, но все тут эстеты - ценители питона и им подобных. Мы люди попроще, эксель - наше все) так что парсер как раз был бы оч.уместен. Заранее спасибо за Ваш труд!
Опубликовано 6 апреля, 20233 г. 2 часа назад, Nick сказал: Цель публикации - найти "друзей по интересам". Приветствую. Что это за столбцы? Эти циферки как применить?
Опубликовано 6 апреля, 20233 г. 57 минут назад, Nick сказал: 1) Как обойти проблему разного названия команд на разных ресурсах. fuzzy lookup решает проблему, но ручками
Опубликовано 7 апреля, 20233 г. 9 часов назад, Yurec сказал: Что это за столбцы? Эти циферки как применить? Это примерный тотал голов от той и другой команды в матче на основе статы за прошедше 2 года только
Присоединяйтесь к обсуждению
Вы можете написать сейчас и зарегистрироваться позже. Если у вас есть аккаунт, авторизуйтесь, чтобы опубликовать от имени своего аккаунта.