Моя прога, может кому пригодится)

[kelbr 83]

1 минуту назад, mihailopolya сказал:

Под обучением я имею в виду что берется TensorFlow/PyTorch или др., собирается датасет, формируется, проводятся EDA, нормализация признаков, затем обучение, если нужно то и калибровка гиперпараметров и т.д. и т.п. По-другому обучить не получится. Если нет весов модели, то ту же LLM даже не зафайнтюнить - на каком датасете ее обучили и довели, то и будет

я знаю о чем вы говорите .

[kelbr 83]

раньше ии тоже обучали на огромном массиве данных,но пришел депсик и поменял все, это все меняеться и развивается не стоит на месте.так же и у каждого подход к этому свой.

[mihailopolya 95]

4 минуты назад, kelbr сказал:

вот делал калькулятор оддс,если не знать что и как делать,то хоть машина будет зверь вы на это очень много времени потратите,я сделал отклонение 0.01,а если бы я делал как все делают я бы еще его делал.разные подходы у каждого.

Я согласен с подходом "делай проще". Но не согласен с тем, что стороннюю LLM можно обучать. Сформировать свод правил и условий - да

[kelbr 83]

 Но не согласен с тем, что стороннюю LLM можно обучать. 
вам ее не надо обучать а включить скрытые ее функции прописаные строго по вашим правилам обучить вы депсик джпти конечне не сможете,а вот включить скрытые функции и прогнать под себя вы можете,вам это и надо,модели уже обученые в самом чате есть вам только взять что вам надо.

[good_bye 613]

45 минут назад, kelbr сказал:

можно это по другому все делать,и быстрее .

подскажите направление куда копать?

[good_bye 613]

55 минут назад, kelbr сказал:

оддс виз на этом посторен,там выгодно конффликт модели и бука .

у меня кэфы там как признаки встроены, я хотел попробовать без них и еще кое что добавил но там он обучаться стал по полчаса и я ту версию забросил

[good_bye 613]

39 минут назад, kelbr сказал:

https://github.com/futpythontrader/YouTube.git
я вам от сюда данные еще взял посмотрите может что еще Вам там надо .

у меня только один вопрос, как брать свежую статистику?. Мой парсер может забирать только результаты и 1х2 кэфы.

[good_bye 613]

36 минут назад, mihailopolya сказал:

Что именно? Обучать нейросеть - долго. У меня модель паттернов в Tensorflow где-то три часа прогоняется. Это только паттерны с несколькими признаками. А если представить, что мне была бы доступна локальная или удаленная машина с достаточной производительностью и обучать нейросеть на хотя бы 6 миллиардов параметров - еще дольше

там надо на видеокарте обучать , 16 ГБ видеоозу и обязательно инструкции avx2 на проце

[mihailopolya 95]

1 минуту назад, good_bye сказал:

там надо на видеокарте обучать , 16 ГБ видеоозу и обязательно инструкции avx2 на проце

Да, на видеокарте быстрее

[kelbr 83]

11 минут назад, good_bye сказал:

у меня только один вопрос, как брать свежую статистику?. Мой парсер может забирать только результаты и 1х2 кэфы.

как разхотел спросить у вас вы после игр добавляете статистику,может проще к апи присосаться статнет .

[good_bye 613]

3 минуты назад, kelbr сказал:

как разхотел спросить у вас вы после игр добавляете статистику,может проще к апи присосаться статнет .

я в понедельник просто парсю заново с новыми матчами файл )) ну по деревенски,согласен

[kelbr 83]

1 минуту назад, good_bye сказал:

я в понедельник просто парсю заново с новыми матчами файл )) ну по деревенски,согласен

по базе понятно и видно,сейчас признаки добавим уже лучше но нужно еще лучше,потом если что по апи возьмем эти данные 

[kelbr 83]

  6. Топ-10 важности признаков (1X2, Expanded)

  ┌─────┬────────────────┬────────────┐
  │  #  │    Feature     │ Importance │
  ├─────┼────────────────┼────────────┤
  │ 1   │ market_margin  │ 6.0        │
  ├─────┼────────────────┼────────────┤
  │ 2   │ imp_away       │ 5.5        │
  ├─────┼────────────────┼────────────┤
  │ 3   │ odd_away       │ 4.5        │
  ├─────┼────────────────┼────────────┤
  │ 4   │ odd_home       │ 4.5        │
  ├─────┼────────────────┼────────────┤
  │ 5   │ imp_draw       │ 4.1        │
  ├─────┼────────────────┼────────────┤
  │ 6   │ odd_draw       │ 3.8        │
  ├─────┼────────────────┼────────────┤
  │ 7   │ elo_diff       │ 3.8        │
  ├─────┼────────────────┼────────────┤
  │ 8   │ elo_sum        │ 3.5        │
  ├─────┼────────────────┼────────────┤
  │ 9   │ market_balance │ 3.5        │
  ├─────┼────────────────┼────────────┤
  │ 10  │ home_gf_avg_5  │ 3.4        │
  └─────┴────────────────┴────────────┘
 

[good_bye 613]

7 минут назад, kelbr сказал:

  6. Топ-10 важности признаков (1X2, Expanded)

  ┌─────┬────────────────┬────────────┐
  │  #  │    Feature     │ Importance │
  ├─────┼────────────────┼────────────┤
  │ 1   │ market_margin  │ 6.0        │
  ├─────┼────────────────┼────────────┤
  │ 2   │ imp_away       │ 5.5        │
  ├─────┼────────────────┼────────────┤
  │ 3   │ odd_away       │ 4.5        │
  ├─────┼────────────────┼────────────┤
  │ 4   │ odd_home       │ 4.5        │
  ├─────┼────────────────┼────────────┤
  │ 5   │ imp_draw       │ 4.1        │
  ├─────┼────────────────┼────────────┤
  │ 6   │ odd_draw       │ 3.8        │
  ├─────┼────────────────┼────────────┤
  │ 7   │ elo_diff       │ 3.8        │
  ├─────┼────────────────┼────────────┤
  │ 8   │ elo_sum        │ 3.5        │
  ├─────┼────────────────┼────────────┤
  │ 9   │ market_balance │ 3.5        │
  ├─────┼────────────────┼────────────┤
  │ 10  │ home_gf_avg_5  │ 3.4        │
  └─────┴────────────────┴────────────┘
 

маржа интересный признак, он у меня был? я тоже хотел уменьшить количество признаков за счет качества признаков. Это убрало бы шум. Я помоему глико-2 делал а не эло ну может это он сам повыбирал хз))

[mihailopolya 95]

1 минуту назад, good_bye сказал:

маржа интересный признак, он у меня был? я тоже хотел уменьшить количество признаков за счет качества признаков. Это убрало бы шум. Я помоему глико-2 делал а не эло ну может это он сам повыбирал хз))

Вы хотите, чтобы модель больше предсказывала неочевидное?

[kelbr 83]

3 минуты назад, good_bye сказал:

маржа интересный признак, он у меня был? я тоже хотел уменьшить количество признаков за счет качества признаков. Это убрало бы шум. Я помоему глико-2 делал а не эло ну может это он сам повыбирал хз))

это по Вашему там и база больше ваша,чем вся,это по вашей смотрю а паралельно другую гоню,смотрю сколько с вашей можно выжать все нормально.

[good_bye 613]

2 минуты назад, mihailopolya сказал:

Вы хотите, чтобы модель больше предсказывала неочевидное?

в целом да, но как этого достичь пока не знаю

[mihailopolya 95]

6 минут назад, good_bye сказал:

в целом да, но как этого достичь пока не знаю

Если идти линейно, то пути 2: 1). Модель-классификатор "будет ли сенсация" или "риск сенсации". 2). Кластеризовать матчи - разбить их на типы, для каждой группы обучить свою отдельную модель. В чем-то два этих пути схожи. Главное - модель должна понять, какие признаки с какими диапазонами значений исторически могли указывать на "сенсации". Еще можно SHAP использовать, он будет показывать, какие признаки в том или ином случае модель посчитала наиболее важными, но с SHAP выдача от модели может замедлиться, по крайней мере с нейросетью точно. Классические ML с SHAP должны работать быстро

[kelbr 83]

OUTPUT_DIR = Path("exported") OUTPUT_DIR.mkdir(exist_ok=True) ZIP_URL = "https://www.newhavensoft.net/oddsarch/OW210326.zip" # Заголовки для запросов HEADERS = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 Chrome/122.0.0.0 Safari/537.36", "Referer": "https://www.newhavensoft.net/oddsarchive.htm", } def download_zip():
когда я говорю что можно многое быстрее делать,это относиться к таким вещам как данные,я скачиваю сразу готовый дата сет,потом я начинаю этот сырой матерьял приводить в чувтво,в процессе я получаю определенную модель,после этого я перехожу в чат ии,и запускаю скрытые его возможности,я не пишу ему поэмы,я вызываю промт кодом,и мы ищем самые лучшие фарианты под это все,при этом в чате мы придерживаемся строго промт кода,и модель сама обучаеться потом передает инвормацию чат ии,где уже есть все модели в рассчетах и видишь все.чем больше видюха конечно лучше.

[kelbr 83]

4 минуты назад, mihailopolya сказал:

Если идти линейно, то пути 2: 1). Модель-классификатор "будет ли сенсация" или "риск сенсации". 2). Кластеризовать матчи - разбить их на типы, для каждой группы обучить свою отдельную модель. В чем-то два этих пути схожи. Главное - модель должна понять, какие признаки с какими диапазонами значений исторически могли указывать на "сенсации". Еще можно SHAP использовать, он будет показывать, какие признаки в том или ином случае модель посчитала наиболее важными, но с SHAP выдача от модели может замедлиться, по крайней мере с нейросетью точно. Классические ML с SHAP должны работать быстро

а почему не взять к примеру расхождение моделей????

[kelbr 83]

21 минуту назад, good_bye сказал:

в целом да, но как этого достичь пока не знаю

а у вас как база в понедельник пополняется парсер?

[good_bye 613]

3 минуты назад, kelbr сказал:

а у вас как база в понедельник пополняется парсер?

да, но он научился парсить только переходные чемпы 2025/2026  2026 если например Шведов он не умеет и прошлые сезоны тоже. Я просто не знаю как по-другому сделать. Может действительно брать с оддс визарда?

[good_bye 613]

6 минут назад, kelbr сказал:

а у вас как база в понедельник пополняется парсер?

могу вам его скинуть)

[mihailopolya 95]

11 минут назад, kelbr сказал:

а почему не взять к примеру расхождение моделей????

Это уже больше про мета-обучение, можно и так. Тогда лучше добавить 2-3 ML модели

[kelbr 83]

Только что, good_bye сказал:

да, но он научился парсить только переходные чемпы 2025/2026  2026 если например Шведов он не умеет и прошлые сезоны тоже. Я просто не знаю как по-другому сделать. Может действительно брать с оддс визарда?

Может действительно брать с оддс визарда?ну смотря для чего просто все им по разному пользуються,а если манул хорошо прочитать там все описано как рассчитать,тогда это имеет большой вес.я просто делал все это вернее допиливаю все.но у меня это лаборатория она для работы.там не только оддс там биржи букмекер сколько миллионнов слили и так далее,влияния ии и так далее.