2023-08-01から1ヶ月間の記事一覧

Delta Lakeのdocumentを読んだメモ

Delta Lake S3, Azure data lake storage, HDFSなどのデータレイクファイルストレージに構築されるOSSのストレージレイヤー。1つのテーブルに対して、ストリーミング・バッチ処理の両方に対応できる。 構造化・非構造化データを単一システムに集約してデー…

MLflowのdocumentを読んだメモ

MLflowとは 機械学習のライフサイクル全体で、workflow, artifactを管理できるOSS。様々なMLライブラリで利用することができる。MLのコードに対して、最小限の変更を行うだけで、各data scientistが実行した実験結果を再現できるようになる。 なお、ここでい…