日誌 vaexのdataframeのcolumnとrowの数による性能の違いの調査
手元のデータで特徴量の次元が10万超えのものがあり、vaexを使ってみたが、速く感じられない。そこで、dataframeの columnとrowによって処理性能に差があるのか試してみた。結果からみると、row数が多いものは高速に処理できるが...
2020-03
日誌 
日誌 vaexをColab経由のGCPで試す
vaex による大容量データ処理を Google Colaboratoryを経由してGoogle Cloud Platform (GCP) で試した。「vaexをColab経由でGCPで試す」と同じ NY Taxiのデータを使っている。GC...
日誌 Google ColaboratoryからGoogle Driveの大容量データアクセス
「vaex を Google Colaboratoryで試す」のようにGoogle Colabでvaexを試していたが、同じjupyter notebook を実行しても vaex.open をすると次のようなエラーが出て処理できないように...
日誌 vaex を Google Colaboratoryで試す
Colaboratory の主記憶不足で処理できないデータがある。DataFrameのキャッシュライブラリのようなものを作ればディスクを利用して主記憶不足を補えるのではないかと思い、現状で使えるものがないか調べてみた。Out of core...
日誌 「レジストリに対する値が無効です」が出て既定のアプリがTWINUIになっている
mp4ファイルをクリックして開こうとしたら「レジストリに対する値が無効です」が出て開けなくなっていた。「設定」→「アプリ」→「既定のアプリ」を見てみると音楽プレーヤーとビデオプレーヤーの既定のアプリがTWINUIになっていた。変更できない。...