日誌 Colabのノートブックをダウンロードしてローカルで開くとエラーが出る
Google Colaboratoryで作成したNotebookを.ipynb ファイルとしてダウンロードして、ローカルのJupyter Notebookで開くと Notebook validation failed というエラー(警告)が...
Colaboratory
日誌 
日誌 vaexのdataframeのcolumnとrowの数による性能の違いの調査
手元のデータで特徴量の次元が10万超えのものがあり、vaexを使ってみたが、速く感じられない。そこで、dataframeの columnとrowによって処理性能に差があるのか試してみた。結果からみると、row数が多いものは高速に処理できるが...
日誌 vaexをColab経由のGCPで試す
vaex による大容量データ処理を Google Colaboratoryを経由してGoogle Cloud Platform (GCP) で試した。「vaexをColab経由でGCPで試す」と同じ NY Taxiのデータを使っている。GC...
日誌 Google ColaboratoryからGoogle Driveの大容量データアクセス
「vaex を Google Colaboratoryで試す」のようにGoogle Colabでvaexを試していたが、同じjupyter notebook を実行しても vaex.open をすると次のようなエラーが出て処理できないように...
日誌 vaex を Google Colaboratoryで試す
Colaboratory の主記憶不足で処理できないデータがある。DataFrameのキャッシュライブラリのようなものを作ればディスクを利用して主記憶不足を補えるのではないかと思い、現状で使えるものがないか調べてみた。Out of core...
インストール Google ColaboratoryのローカルランタイムをGCPで実行する
Google Colaboratory (Colab)でメモリが不足したので、Google Cloud Platform (GCP) でメモリ量の多いVirtual Machine (VM)インスタンスを生成し、それをColabのlocal...
日誌 Colaboratoryのランタイムと仮想マシン、セッション
Google Colaboratory を使わせてもらっているが、時間制限との関係で用語の意味がはっきりしないので調べてみた。現状をまとめてみる。ただし、良くわかっていない点が残っている。また、仮想マシンの/proc/uptimeの値を基に...