Прыём даных
імпарт даных з розных крыніц на адзін носьбіт
Прыём даных (англ.: data ingestion) — працэс збору даных з розных крыніц на адзіны воблачны носьбіт[1]. Ажыццяўляецца з дапамогай розных сістэм, фарматаў і падыходаў, такіх як унутраныя і вонкавыя базы даных, вітрыны даных, OLAP-кубы, сховішчы даных, OLTP-сістэмы, Spark, HDFS і іншыя[2].
Этапы правіць
Прыём даных складаецца з наступных этапаў[2]:
- Вызначэнне і дакументацыя крыніц даных.
- Ацэнка месца на дыску, неабходнага для захоўвання даных.
- Выдзяленне неабходнага месца для даных.
- Атрыманне даных і перавод іх у зручны фармат.
- Стварэнне рэзервовай копіі даных.
- Праверка даных на адпаведнасць прынцыпам канфідэнцыяльнасці, напрыклад GDPR, або прывядзенне іх у адпаведны выгляд.
- Каталагізацыя метаданых пра памер, фармат, час апошняга змянення, спіс кантролю доступу і г.д.
Крыніцы правіць
- ↑ What is data ingestion? (англ.). Cognizant. Праверана 13 снежня 2023.
- ↑ а б Three Levels of ML Software (англ.). ML Ops: Machine Learning Operations. Праверана 13 снежня 2023.