Используем ИИ для создания программ

[Farel 1 201]

2 минуты назад, mihailopolya сказал:

Одного мало. Имеется в виду, что нужна смена прокси, поскольку слишком много запросов с одного адреса - будет бан. Проверено на себе

Когда ждать? Через сколько? 

[Тимур Зубик 36]

1 минуту назад, Farel сказал:

Когда ждать? Через сколько? 

Как повезет, пока не тригернете, или пока логи не глянут. Кто ж знает, как у них там настроено.

[mihailopolya 102]

5 минут назад, Farel сказал:

Когда ждать? Через сколько? 

Не помню, через сколько запросов, может где-то 2-3 тысячи, несколько месяцев назад было

[mihailopolya 102]

7 минут назад, Тимур Зубик сказал:

А ipшник дата-центровой asn улетит в бан еще быстрее даже без зазрения совести

Может он захочет использовать более дорогой

[Farel 1 201]

1 минуту назад, mihailopolya сказал:

Не помню, через сколько запросов, может где-то 2-3 тысячи, несколько месяцев назад было

Ну я уже больше 3000 матчей спарсил за последний час, и продолжаю, каждый матч один запрос. Там же методы парсинга разные бывают, мы с ИИ долго прорабатывали как чтобы чисто с системой антибан.

[Grey Cardinal 247]

5 минут назад, Farel сказал:

Когда ждать? Через сколько? 

Если начнешь парсить сезоны, и не по одной лиге, а по 10-15, могут и в тот же день дать. У меня парсер был на google сервере, бан дал за 2 недели,

[Farel 1 201]

1 минуту назад, Grey Cardinal сказал:

Если начнешь парсить сезоны, и не по одной лиге, а по 10-15, могут и в тот же день дать. У меня парсер был на google сервере, бан дал за 2 недели,

Хорошо, допустим бан. Я перехожу через прокси на другой ip и снова сижу 2 недели, так?

[Grey Cardinal 247]

1 минуту назад, Farel сказал:

Хорошо, допустим бан. Я перехожу через прокси на другой ip и снова сижу 2 недели, так?

не факт, потому что могут произвести изменения на сайте. И это не лучший сайт для сбора базы данных, потому как только парсер делаешь асинхронный, sofascore тебя блочит, есть лучшие варианты.

[Farel 1 201]

Только что, Grey Cardinal сказал:

не факт, потому что могут произвести изменения на сайте. И это не лучший сайт для сбора базы данных, потому как только парсер делаешь асинхронный, sofascore тебя блочит, есть лучшие варианты.

Посмотрим. Варианты всегда есть. Поэтому пока работает нет смысла заморачиваться. Если бы настолько крутая защита была, давно бы дали бан) 

[Farel 1 201]

10 минут назад, Grey Cardinal сказал:

не факт, потому что могут произвести изменения на сайте. И это не лучший сайт для сбора базы данных, потому как только парсер делаешь асинхронный, sofascore тебя блочит, есть лучшие варианты.

Тем более смотри такой момент, ИИ достаточно быстро настроили парсинг на Софу, то есть они отлично знали все селекторы и прочее, значит желающих парсить этот сайт достаточно много.

Изменено 3 часа назад пользователем Farel

[Grey Cardinal 247]

7 минут назад, Farel сказал:

Посмотрим. Варианты всегда есть. Поэтому пока работает нет смысла заморачиваться. Если бы настолько крутая защита была, давно бы дали бан) 

скачай за 1 раз не пару лиг, а лиг 20-25 за пару лет, и тогда увидишь будет ли бан.

[Farel 1 201]

2 минуты назад, Grey Cardinal сказал:

скачай за 1 раз не пару лиг, а лиг 20-25 за пару лет, и тогда увидишь будет ли бан.

У меня парсинг настроен по 1 лиге. Мне этого более чем достаточно. Да и лига за 7 лет парсится пол часа или того меньше. Да и много лиг меня не интересуют. Около 20-30 всего наверное будет, а может и вообще 10-12.

Изменено 3 часа назад пользователем Farel

[Grey Cardinal 247]

4 минуты назад, Farel сказал:

У меня парсинг настроен по 1 лиге. Мне этого более чем достаточно. Да и лига за 7 лет парсится пол часа или того меньше. Да и много лиг меня не интересуют. Около 20-30 всего наверное будет, а может и вообще 10-12.

ну тогда главное не парсить все 20-30 зараз

[Farel 1 201]

Кстати, глянул на Чемпионшипе, систему, что на Швецию ставили, неплохо для тех же самых настроек. А говорят ИИ плохо системы делают... немного доработать, и вообще норм будет. Да, просадки большие, но все можно подкрутить, докинуть алгоритм второй, по простому говоря, немного поработать. 

[good_bye 771]

а что парсит и проверял ли то неважно. Главное база есть))

[Farel 1 201]

5 минут назад, good_bye сказал:

а что парсит и проверял ли то неважно. Главное база есть))

Я показывал выше скрины, все что меня интересует. 

[The Iron Wizard 1 632]

Возможно эксель и уступает, но посмотрим что будет дальше. Можете поэкспериментировать на этой лиге https://www.flashfootball.com/argentina/primera-nacional/#/CIwD2G5N/standings/overall/

 

ARGENTINA_Primera-Nacional.xlsb

[Farel 1 201]

7 минут назад, The Iron Wizard сказал:

Возможно эксель и уступает, но посмотрим что будет дальше. Можете поэкспериментировать на этой лиге https://www.flashfootball.com/argentina/primera-nacional/#/CIwD2G5N/standings/overall/

 

ARGENTINA_Primera-Nacional.xlsb 3.35 MB · 1 загрузка

Спасибо, но это уже не годится. После проги на пайтоне, вообще не хочется даже залазить в это. Мне не нужно ничего знать, ИИ лазиют в моей проге как у себя дома, сломался парсинг, опа 5-10 минут, и снова работает. Добавить новый алгоритм? Тоже не проблема, 1-2 минуты. На пайтоне полная свобода, от мысли до реализации считанные минуты. Тут даже сравнивать нет смыла, прям как в произведении Рони-Старшего, это как гиена перед пещерным львом. 

Изменено 2 часа назад пользователем Farel

[The Iron Wizard 1 632]

8 минут назад, Farel сказал:

Спасибо, но это уже не годится. После проги на пайтоне, вообще не хочется даже залазить в это. Мне не нужно ничего знать, ИИ лазиют в моей проге как у себя дома, сломался парсинг, опа 5-10 минут, и снова работает. Добавить новый алгоритм? Тоже не проблема, 1-2 минуты. На пайтоне полная свобода, от мысли до реализации считанные минуты. Тут даже сравнивать нет смыла, прям как в произведении Рони-Старшего, это как гиена перед пещерным львом. 

Ты за других не отвечай. Не нравится, пройди мимо.