1 минуту назад, mihailopolya сказал:

Под обучением я имею в виду что берется TensorFlow/PyTorch или др., собирается датасет, формируется, проводятся EDA, нормализация признаков, затем обучение, если нужно то и калибровка гиперпараметров и т.д. и т.п. По-другому обучить не получится. Если нет весов модели, то ту же LLM даже не зафайнтюнить - на каком датасете ее обучили и довели, то и будет

я знаю о чем вы говорите .

раньше ии тоже обучали на огромном массиве данных,но пришел депсик и поменял все, это все меняеться и развивается не стоит на месте.так же и у каждого подход к этому свой.

4 минуты назад, kelbr сказал:

вот делал калькулятор оддс,если не знать что и как делать,то хоть машина будет зверь вы на это очень много времени потратите,я сделал отклонение 0.01,а если бы я делал как все делают я бы еще его делал.разные подходы у каждого.

Я согласен с подходом "делай проще". Но не согласен с тем, что стороннюю LLM можно обучать. Сформировать свод правил и условий - да

 Но не согласен с тем, что стороннюю LLM можно обучать. 
вам ее не надо обучать а включить скрытые ее функции прописаные строго по вашим правилам обучить вы депсик джпти конечне не сможете,а вот включить скрытые функции и прогнать под себя вы можете,вам это и надо,модели уже обученые в самом чате есть вам только взять что вам надо.

45 минут назад, kelbr сказал:

можно это по другому все делать,и быстрее .

подскажите направление куда копать?

55 минут назад, kelbr сказал:

оддс виз на этом посторен,там выгодно конффликт модели и бука .

у меня кэфы там как признаки встроены, я хотел попробовать без них и еще кое что добавил но там он обучаться стал по полчаса и я ту версию забросил

39 минут назад, kelbr сказал:

https://github.com/futpythontrader/YouTube.git
я вам от сюда данные еще взял посмотрите может что еще Вам там надо .

у меня только один вопрос, как брать свежую статистику?. Мой парсер может забирать только результаты и 1х2 кэфы.

36 минут назад, mihailopolya сказал:

Что именно? Обучать нейросеть - долго. У меня модель паттернов в Tensorflow где-то три часа прогоняется. Это только паттерны с несколькими признаками. А если представить, что мне была бы доступна локальная или удаленная машина с достаточной производительностью и обучать нейросеть на хотя бы 6 миллиардов параметров - еще дольше

там надо на видеокарте обучать , 16 ГБ видеоозу и обязательно инструкции avx2 на проце

1 минуту назад, good_bye сказал:

там надо на видеокарте обучать , 16 ГБ видеоозу и обязательно инструкции avx2 на проце

Да, на видеокарте быстрее

11 минут назад, good_bye сказал:

у меня только один вопрос, как брать свежую статистику?. Мой парсер может забирать только результаты и 1х2 кэфы.

как разхотел спросить у вас вы после игр добавляете статистику,может проще к апи присосаться статнет .

3 минуты назад, kelbr сказал:

как разхотел спросить у вас вы после игр добавляете статистику,может проще к апи присосаться статнет .

я в понедельник просто парсю заново с новыми матчами файл )) ну по деревенски,согласен

1 минуту назад, good_bye сказал:

я в понедельник просто парсю заново с новыми матчами файл )) ну по деревенски,согласен

по базе понятно и видно,сейчас признаки добавим уже лучше но нужно еще лучше,потом если что по апи возьмем эти данные 

  6. Топ-10 важности признаков (1X2, Expanded)

  ┌─────┬────────────────┬────────────┐
  │  #  │    Feature     │ Importance │
  ├─────┼────────────────┼────────────┤
  │ 1   │ market_margin  │ 6.0        │
  ├─────┼────────────────┼────────────┤
  │ 2   │ imp_away       │ 5.5        │
  ├─────┼────────────────┼────────────┤
  │ 3   │ odd_away       │ 4.5        │
  ├─────┼────────────────┼────────────┤
  │ 4   │ odd_home       │ 4.5        │
  ├─────┼────────────────┼────────────┤
  │ 5   │ imp_draw       │ 4.1        │
  ├─────┼────────────────┼────────────┤
  │ 6   │ odd_draw       │ 3.8        │
  ├─────┼────────────────┼────────────┤
  │ 7   │ elo_diff       │ 3.8        │
  ├─────┼────────────────┼────────────┤
  │ 8   │ elo_sum        │ 3.5        │
  ├─────┼────────────────┼────────────┤
  │ 9   │ market_balance │ 3.5        │
  ├─────┼────────────────┼────────────┤
  │ 10  │ home_gf_avg_5  │ 3.4        │
  └─────┴────────────────┴────────────┘
 

7 минут назад, kelbr сказал:

  6. Топ-10 важности признаков (1X2, Expanded)

  ┌─────┬────────────────┬────────────┐
  │  #  │    Feature     │ Importance │
  ├─────┼────────────────┼────────────┤
  │ 1   │ market_margin  │ 6.0        │
  ├─────┼────────────────┼────────────┤
  │ 2   │ imp_away       │ 5.5        │
  ├─────┼────────────────┼────────────┤
  │ 3   │ odd_away       │ 4.5        │
  ├─────┼────────────────┼────────────┤
  │ 4   │ odd_home       │ 4.5        │
  ├─────┼────────────────┼────────────┤
  │ 5   │ imp_draw       │ 4.1        │
  ├─────┼────────────────┼────────────┤
  │ 6   │ odd_draw       │ 3.8        │
  ├─────┼────────────────┼────────────┤
  │ 7   │ elo_diff       │ 3.8        │
  ├─────┼────────────────┼────────────┤
  │ 8   │ elo_sum        │ 3.5        │
  ├─────┼────────────────┼────────────┤
  │ 9   │ market_balance │ 3.5        │
  ├─────┼────────────────┼────────────┤
  │ 10  │ home_gf_avg_5  │ 3.4        │
  └─────┴────────────────┴────────────┘
 

маржа интересный признак, он у меня был? я тоже хотел уменьшить количество признаков за счет качества признаков. Это убрало бы шум. Я помоему глико-2 делал а не эло ну может это он сам повыбирал хз))

1 минуту назад, good_bye сказал:

маржа интересный признак, он у меня был? я тоже хотел уменьшить количество признаков за счет качества признаков. Это убрало бы шум. Я помоему глико-2 делал а не эло ну может это он сам повыбирал хз))

Вы хотите, чтобы модель больше предсказывала неочевидное?

3 минуты назад, good_bye сказал:

маржа интересный признак, он у меня был? я тоже хотел уменьшить количество признаков за счет качества признаков. Это убрало бы шум. Я помоему глико-2 делал а не эло ну может это он сам повыбирал хз))

это по Вашему там и база больше ваша,чем вся,это по вашей смотрю а паралельно другую гоню,смотрю сколько с вашей можно выжать все нормально.

2 минуты назад, mihailopolya сказал:

Вы хотите, чтобы модель больше предсказывала неочевидное?

в целом да, но как этого достичь пока не знаю

6 минут назад, good_bye сказал:

в целом да, но как этого достичь пока не знаю

Если идти линейно, то пути 2: 1). Модель-классификатор "будет ли сенсация" или "риск сенсации". 2). Кластеризовать матчи - разбить их на типы, для каждой группы обучить свою отдельную модель. В чем-то два этих пути схожи. Главное - модель должна понять, какие признаки с какими диапазонами значений исторически могли указывать на "сенсации". Еще можно SHAP использовать, он будет показывать, какие признаки в том или ином случае модель посчитала наиболее важными, но с SHAP выдача от модели может замедлиться, по крайней мере с нейросетью точно. Классические ML с SHAP должны работать быстро

OUTPUT_DIR = Path("exported") OUTPUT_DIR.mkdir(exist_ok=True) ZIP_URL = "https://www.newhavensoft.net/oddsarch/OW210326.zip" # Заголовки для запросов HEADERS = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 Chrome/122.0.0.0 Safari/537.36", "Referer": "https://www.newhavensoft.net/oddsarchive.htm", } def download_zip():
когда я говорю что можно многое быстрее делать,это относиться к таким вещам как данные,я скачиваю сразу готовый дата сет,потом я начинаю этот сырой матерьял приводить в чувтво,в процессе я получаю определенную модель,после этого я перехожу в чат ии,и запускаю скрытые его возможности,я не пишу ему поэмы,я вызываю промт кодом,и мы ищем самые лучшие фарианты под это все,при этом в чате мы придерживаемся строго промт кода,и модель сама обучаеться потом передает инвормацию чат ии,где уже есть все модели в рассчетах и видишь все.чем больше видюха конечно лучше.

4 минуты назад, mihailopolya сказал:

Если идти линейно, то пути 2: 1). Модель-классификатор "будет ли сенсация" или "риск сенсации". 2). Кластеризовать матчи - разбить их на типы, для каждой группы обучить свою отдельную модель. В чем-то два этих пути схожи. Главное - модель должна понять, какие признаки с какими диапазонами значений исторически могли указывать на "сенсации". Еще можно SHAP использовать, он будет показывать, какие признаки в том или ином случае модель посчитала наиболее важными, но с SHAP выдача от модели может замедлиться, по крайней мере с нейросетью точно. Классические ML с SHAP должны работать быстро

а почему не взять к примеру расхождение моделей????

21 минуту назад, good_bye сказал:

в целом да, но как этого достичь пока не знаю

а у вас как база в понедельник пополняется парсер?

3 минуты назад, kelbr сказал:

а у вас как база в понедельник пополняется парсер?

да, но он научился парсить только переходные чемпы 2025/2026  2026 если например Шведов он не умеет и прошлые сезоны тоже. Я просто не знаю как по-другому сделать. Может действительно брать с оддс визарда?

6 минут назад, kelbr сказал:

а у вас как база в понедельник пополняется парсер?

могу вам его скинуть)

11 минут назад, kelbr сказал:

а почему не взять к примеру расхождение моделей????

Это уже больше про мета-обучение, можно и так. Тогда лучше добавить 2-3 ML модели

Только что, good_bye сказал:

да, но он научился парсить только переходные чемпы 2025/2026  2026 если например Шведов он не умеет и прошлые сезоны тоже. Я просто не знаю как по-другому сделать. Может действительно брать с оддс визарда?

Может действительно брать с оддс визарда?ну смотря для чего просто все им по разному пользуються,а если манул хорошо прочитать там все описано как рассчитать,тогда это имеет большой вес.я просто делал все это вернее допиливаю все.но у меня это лаборатория она для работы.там не только оддс там биржи букмекер сколько миллионнов слили и так далее,влияния ии и так далее.