Unsupervised learning


Kanal geosi va tili: Belarus, Ruscha


О трудовых буднях программиста. Занимаюсь обработкой GEO-данных, по выходным учу ML.

Связанные каналы

Kanal geosi va tili
Belarus, Ruscha
Statistika
Postlar filtri


Косово - все еще часть Сербии по некоторым документам




Lon,Lat VS Lat,Lon

The GeoJSON Format - RFC 7946, Section 3.1.1
The first two elements are longitude and latitude, or easting and northing...

ISO 6709 or ISO:19111, 3.1.23 ellipsoidal coordinate system

This document specifies the representation of latitude and longitude and optionally height or depth ...

и статься на тему
https://macwright.com/lonlat/


Руководство по работе с гео-данными.
https://carpentries-incubator.github.io/geospatial-python/


Postgres - база в которой нельзя узнать кол-во данных которое в ней храниться. Просто потрясающе.






Инженер из PyPal рассказывает как они заскейли кубер-кластер до 4к нод и 20к подов. Все делалось на гугл-кластере, в основном пришлось тюнить API Server (настраивать политику приоритезации APF) и etcd (переходить на локальный SSD с выключением fsync-а для логера). Завелось все на версии кубера 1.20.

https://medium.com/paypal-tech/scaling-kubernetes-to-over-4k-nodes-and-200k-pods-29988fad6ed


На чем только не делают бизнес - вот например продают границы стран. Если кому-то лень это все выкачивать из OpenStreetMap, то почему бы и не заплатить.
https://interactivegeomaps.com/


Старт процесса в python делается с помощью системного вызова fork (поведение по-умолчанию) при этом память копируется только в случае записи в нее (стратегия copy on write). Этой особенностью можно пользоваться, например если нужно обработать какой-то большой объем данных - в основном процессе занимаемся их формированием, в порожденных обрабатываем. При этом данные должны находиться в глобальной области видимости а передача их на обработку делается неявно. Но иногда хочется передать указатель на объект явно и не думать об области видимости. В этом случае можно взять его id, а затем в восстановить из него полноценный объект с помощью ctypes.cast(obj_id, ctypes.py_object).value

Пример ниже:
https://replit.com/@habibutsu/pass-data-by-ptr


Лично я очень часто использую Makefile в проектах чтобы записывать часто используемы наборы команд, вроде сборки python-пакета, прокидывания порта на кубернетис под и пр. рутина. А вот неплохой туториал на примерах.
https://makefiletutorial.com/




https://colab.research.google.com/notebooks/snippets/advanced_outputs.ipynb
полезные снипеты для работы с пользовательским инпутом


Все EC2 инстансы в одном месте с возможностью фильтрации и сравнения
https://instances.vantage.sh/








https://github.com/celery/celery/commit/791a39d8787f553b178165d3d8a7791f6a579e3f
вот что за хренатень, api предоставляет возможность указывать routing_key, exchange и пр. но по каким-то причинам надо было впилить какое-то непонятное поведение


True story


https://youtube.com/playlist?list=PL_lsbAsL_o2DmWZS7P26R7p8-zzhQmnqO
Короткие видео с обзором возможностей pytorch

20 ta oxirgi post ko‘rsatilgan.

3

obunachilar
Kanal statistikasi