インストール vaex のアルファ版を docker image にインストールする
vaex のデータフレームを csv に出力したくなったが、vaex-core の core-v2.0.0でないとサポートされていない。そこで、GitHubにあるvaex のアルファ版をdockerにインストールした。vaex と xgbo...
vaex
インストール 
日誌 Ubuntuでdask-xgboost の例を動作させる
主記憶メモリに収まりきらないデータの教師あり学習ができるようにするライブラリを調査している。XGBoostを利用できる vaex を調べてきたが、別のライブラリでOut of coreにデータを置いても学習できないかを調べた。Daskを併用...
日誌 vaex.example のエラー解消
vaex.example() を実行するとダウンロードのエラーになるのをとりあえず解消する方法。GitHub の記載に基づいて、下記のように修正して変数を設定すれば良いようだ。次のリリースではエラーにならないよう修正されるとのこと。impo...
日誌 vaexのdataframeのcolumnとrowの数による性能の違いの調査
手元のデータで特徴量の次元が10万超えのものがあり、vaexを使ってみたが、速く感じられない。そこで、dataframeの columnとrowによって処理性能に差があるのか試してみた。結果からみると、row数が多いものは高速に処理できるが...
日誌 vaexをColab経由のGCPで試す
vaex による大容量データ処理を Google Colaboratoryを経由してGoogle Cloud Platform (GCP) で試した。「vaexをColab経由でGCPで試す」と同じ NY Taxiのデータを使っている。GC...
日誌 Google ColaboratoryからGoogle Driveの大容量データアクセス
「vaex を Google Colaboratoryで試す」のようにGoogle Colabでvaexを試していたが、同じjupyter notebook を実行しても vaex.open をすると次のようなエラーが出て処理できないように...
日誌 vaex を Google Colaboratoryで試す
Colaboratory の主記憶不足で処理できないデータがある。DataFrameのキャッシュライブラリのようなものを作ればディスクを利用して主記憶不足を補えるのではないかと思い、現状で使えるものがないか調べてみた。Out of core...