Мое баловство с Q-learning или ML + Python + Pygame

Q-learning (калькированный термин — Q-обучение) — это один из алгоритмов реализации метода машинного обучения с подкреплением (reinforcement learning, RL).
Рассмотренный далее пример «Q-learning in action» может оказаться полезным для новичков в этой области.
Человечек (агент, agent) агентный подход живет в плоском мире размером 11 на 11 клеток (environment):
q-learning
Агент может пошагово совершать действия, а каждое действие (action) заключается в попытке перемещения на соседнюю клетку по любому из 8 направлений:
машинное обучение
(«попытке», так как выход за границы мира запрещен — можно считать, что граница «выталкивает» агента в прежнюю позицию):
В мире агента имеются стены , которые не пускают агента на занятые ими клетки, и ловушки , «телепортирующие» агента в начальную позицию.
Состояние (state) агента на каждом шаге (step) описывается его позицией — порядковым номером клетки:

Стартовая позиция агента в начале эпизода (episode) — верхний левый угол, цель агента — достичь конечной позиции — правого нижнего угла по кратчайшему пути.
Вся прелесть алгоритма Q-learning в том, что он работает тогда, когда агент даже и не знает КАК добиться желаемого результата («model-free»).

Читать далее

Кто и когда построил объездную железную дорогу (Гомельский объезд)?

Предлагаемая Вашему вниманию статья является личным мнением автора и не претендует на академичность изложения и исследования.

Однопутная окружная железная дорога (Гомельский объезд) обходит город с северо-востока. По этой дороге следует пригородный поезд «Гомель-Гомель» .
Объездная дорога начинается в Еремино, пересекает реки Сож и Ипуть и заканчивается возле Березок, на ней расположена станции Сож, Ипуть и остановочные пункты Волотова, Прудок, Плёсы, Клёнки, Будотень, Романовичи.
Я выделил несколько элементов этой железнодорожной ветки:
объездная дорога Гомель-Гомель

1. основная трасса
железная дррога Гомель-Гомель

Читать далее

От винта!!! Мои опыты с авиасимулятором FlightGear

Лет шесть-семь назад я увлекался полетами в популярном в те времена авиасимуляторе «Ил-2 Штурмовик»:
Ил-2 Штурмовик
Прошли годы и я решил опять полетать. Изучив современные авиасимуляторы, я выбрал для себя реалистичный симулятор с открытым (под лицензией GNU GPL) кодом FlightGear (www.flightgear.org), доступный для Windows, Linux, Mac (объем дистрибутива около 1,6 Гбайт).

Я начал обучение на версии FlightGear 2017.2.1 (последняя версия — FlightGear 2018.3.2). Для полноценного ощущения полета я подключил джойстик.
При запуске симулятора нам предлагается по умолчанию полет на самолете Cessna 172P Skyhawk («Небесный ястреб» ):


Cessna 172 — самый массовый (!) самолет в истории авиации.
Особенности этого самолета — шасси не убираются, фиксированный шаг винта.

В полете Cessna управляется элеронами (1), рулем высоты (2) и рулем направления (3):

Итак, мы сидим в кресле левого пилота. Что же дальше?
Читать далее

Бабочки в нашем саду или моя фотоохота … на бабочек, стрекоз и пауков

Бабочки — украшение сада. Эти порхающие существа так хочется рассмотреть… Конечно, бабочек можно добыть посредством энтомологического сачка. Но гуманнее и интереснее ловить бабочек в объектив фотокамеры. Ниже я привожу результаты своей «фотоохоты» на эти милые создания (мои трофеи — 12 видов бабочек, 3  вида стрекоз и 1 вид пауков)..

Голубянки

Вот такую симпатичную бабочку я приметил летом на нашем участке:
голубянка икар
голубянка икар
(3 июня 2018 года)
фотографии бабочек
(9 августа 2017 года)

Как я смог определить, это бабочка из семейства голубянок (лат. Lycaenidae) и, скорее всего, вида голубянка икар (лат. Polyommatus icarus). Читать далее

Старичные озера возле Гомеля

В окрестностях Гомеля возле основного русла реки Сож (преимущественно у ее правого берега) перед впадением реки Ипуть до сих пор сохранилось множество озер — объектов изучения лимнологии:
старицы Сожа
Эти озера относятся к группе старичных (пойменных), образовавшихся на месте старых русел реки Сож, и имеют серповидную, пилообразную или вытянутую форму (в Беларуси также встречаются ледниковые и карстовые озера).
Вот что сказано об этих озерах во втором томе подробнейшего описании озер Беларуси — «ВСЕ ОЗЕРА БЕЛАРУСИ» Валерия Григорьевича Иванова (http://samlib.ru/i/iwanow_w_g/ivg200248.shtml):

«В районе г. Гомель, расположенного в 301 км на юго-восток от г. Минск, в припойменной и пойменной зонах рек Сож и Ипуть находится 49 безымянных пойменных и старичных озер. Данные озера относятся к территории Гомельского района. Сведений об их параметрах и окружающей их местности не найдено.»

Но у многих из этих озер все-таки есть имена!
На трехверстовой карте Шуберта 1913 года подписаны названия озер (причем не слишком разборчиво):
гомельские озера

  1. Поветное
  2. Быстрица
  3. Мертвица
  4. Глушец
  5. Броньня
  6. Старик
  7. Ножище
  8. Боровица
  9. Сахутен
  10. Дрец

Намного разборчивее подписи озер на более старой военно-топографической карте 1861 года:
озера возле Гомеля

Читать далее

Мои рыбацкие опыты на реке Сож (записки начинающего рыболова)

Велотрипы в места вблизи Сожа, между Плесами и Старым Селом, подвигли меня на повторное приобщение к оставшемуся в далеком прошлом искусству рыбной ловли.
Вот результаты одной из моих рыбалок после более чем 20-летнего перерыва:
 ловля уклейки на Соже
Поймал я этих рыб на берегу реки Сож:
рыбалка на Соже

Далее я описываю моё постижение увлекательного процесса рыбалки с поплавочной удочкой  — снаряжение оснастки, ее монтаж, вязание рыбацких узлов, способы поплавочной ловли…
Читать далее

Загадка Пахомьевого монастыря или …. где же находилась обитель староверов возле Гомеля?

Старообрядческий мужской Пахомьев (Пахомиев) монастырь был широко известен у старообрядцев (староверов, раскольников, не принявших реформы патриарха Никона). Однако в настоящее время существуют разные версии о том, где же он всё-таки находился…

Основание монастыря

Основателем монастыря считался выходец из великороссийских земель инок Пахомий [5] (инок — древнерусское название монаха (чернеца, носившего черную одежду)), время основания монастыря – 1770 год.

По преданиям этот монастырь был основан как скит «Игнатова пустынь» в 30-х – 60-х годах XVIII века [1] (в 1760 году [2]), по имени некого монаха, который первым тут поселился [4] (пустынь — монашеское поселение в незаселенном людьми месте).

Расположение монастыря

В [3] указывается, что монастырь находился в Белицком уезде в имении князя Варшавского графа Паскевича Эриванского:
светлейший князь Варшавский, граф Иван Фёдорович Паскевич-Эриванский
светлейший князь Варшавский, граф Иван Фёдорович Паскевич-Эриванский (1782-1856) [6]

Вариант 1

По одной из версий он находился на левом берегу Сожа у озера-старицы в 8 км на северо-восток от исторического центра Гомеля, в 10 км на юг от Ветки в урочище Боровица (Боровая). [1]
В [3] упоминается старообрядческий монастырь «Пахомьевский — в 8 верстах от Белицы«, в [4] — «Пахомьев старообрядческий мужской монастырь поповского толка находился на реке Сож за пять верст от Гомеля«, в [5] — «Пахомиев, что на реке Соже, в 8 верстах от Ветковской слободы, дьяконовского согласия монастырь«.

Основными ориентирами места расположения Пахомьева монастыря, как я покажу далее, являются:
Пахомьев монастырь
1 -приток Сожа с устьем напротив монастыря
2 — приток Сожа с устьем южнее монастыря
3 — П-образный изгиб Сожа севернее монастыря

Вот как эта местность представлена на спутниковом снимке сервиса Wikimapia [10]:
Пахомьев монастырь
1: 1a — залив реки Сож, 1б — озеро Сожки
2: 2а — залив реки Сож, 2б — озеро Явицкая
3 — П-образный изгиб реки Сож

Старые карты

В «Плане генерального межевания» Белицкого уезда Могилевской Губернии конца XVIII века монастырь обозначен как «пустыня расколничья» (1):
монастырь старообрядцев возле Гомеля
Читать далее

Любительская стратиграфия

Разрез грунта на опушке леса возле Гомеля:
 разрез грунта лес
Читать далее