Heterodb

Heterodb HeteroDB is a maker of GPU accelerated Big-data processing platform for IoT/M2M and advanced analytics.

開発者ブログ：mysql2arrowでMySQLからデータを抜く
02/04/2020

開発者ブログ：mysql2arrowでMySQLからデータを抜く

以前からPG-Stromのパッケージにpg2arrowというユーティリティを同梱しており、これを使うと、PostgreSQLに投げたクエリからApache Arrow形式のファイルを作成する事ができる。kaigai.hatenablog.com qiita.com昨年、当初のバージョンを作っ...

開発者ブログ：Writable Arrow_Fdwと、PL/CUDAがお払い箱になる話
19/02/2020

開発者ブログ：Writable Arrow_Fdwと、PL/CUDAがお払い箱になる話

昨年ラストのブログ記事は、pg2arrowに--appendモードを付けてApache Arrowファイルへの追記を行うというトピックだった。kaigai.hatenablog.com実は内部的には、PG-StromのArrow_Fdwとpg2arrowのコードは大半を共有していて*1、入り口がスタ.....

開発者ブログ：Dive into Apache Arrow（その４）－ pg2arrow で追記モード
23/12/2019

開発者ブログ：Dive into Apache Arrow（その４）－ pg2arrow で追記モード

先日、Apache Arrow 東京ミートアップ 2019というイベントに参加させていただいた。発表時の様子（photo by 畔勝さん）発表自体は、SSD-to-GPU Direct SQLからArrow_Fdw、4GPU+16SSDによる最近のベンチマークの紹介などで、目新しいものと.....

開発者ブログ：CitusDB + PG-StromでScale-up+outする。
23/12/2019

開発者ブログ：CitusDB + PG-StromでScale-up+outする。

PostgreSQL Advent Calendar 2019の14日目です。PG-Stromの開発をやってると、しばしば聞かれるのが『マルチノードの並列処理って対応してるんですか？』という質問。まぁ、『対応しておりませんし、対応する予定もございません』....

開発者ブログ：CUDA10.2 の Virtual Memory Management 機能を試してみるhttp://kaigai.hatenablog.com/entry/2019/12/11/142510
23/12/2019

開発者ブログ：CUDA10.2 の Virtual Memory Management 機能を試してみるhttp://kaigai.hatenablog.com/entry/2019/12/11/142510

11月21日にリリースされた CUDA 10.2 の Release Note を読んでみると、さらっと『Added support for CUDA Virtual Memory Management APIs.』という一文が。以前から、ManagedなGPUデバイスメモリをマルチプロセスで共有できるようにしてほしいと、...

Developer Blog: Billion rows processed per second at a single-node PostgreSQL
01/11/2019

Developer Blog: Billion rows processed per second at a single-node PostgreSQL

I have worked on benchmarking of PG-Strom at a large hardware configuration for a couple of months. Due to the server models we had, our benchmark results had been usually measured at a small 1U rack server with 1CPU, 1GPU and 3-4 NVME-SSDs, even though PG-Strom supports multi-GPUs and striping of N...

開発者ブログ：秒速で10億レコードを処理する話
31/10/2019

開発者ブログ：秒速で10億レコードを処理する話

これまでのPG-Stromの性能測定といえば、自社保有機材の関係もあり、基本的には1Uラックサーバに1CPU、1GPU、3～4台のNVME-SSDを載せた構成のハードウェアが中心だった。*1 ただソフトウェア的にはマルチGPUやNVME-SSDのストライピ...

【資料公開】DB Tech Showcase 2019/TokyoPostgreSQLをどこまで高速化できるのか？～ハードウェアの限界に挑む PG Strom の挑戦～
25/09/2019

【資料公開】DB Tech Showcase 2019/Tokyo
PostgreSQLをどこまで高速化できるのか？
～ハードウェアの限界に挑む PG Strom の挑戦～

DB Tech Showcase 2019発表資料 PostgreSQLをどこまで高速化できるのか？ ～ハードウェアの限界に挑む PG Strom の挑戦～

開発者ブログ：Asymmetric Partition-wise JOIN
01/09/2019

開発者ブログ：Asymmetric Partition-wise JOIN

久々に PostgreSQL 本体機能へのパッチを投げたので、それの解説をしてみる。PostgreSQL: Re: Asymmetric partition-wise JOIN 背景：Partition-wise JOIN PostgreSQLのパーティションを使ったときに、全く同一のパーティションの切り方をして、か....

開発者ブログ：技術負債を返した話（Pre-built GPU Binary対応）
01/09/2019

開発者ブログ：技術負債を返した話（Pre-built GPU Binary対応）

最もプリミティブなPG-Stromの処理は、ユーザが入力したSQLを元にCUDA CのGPUプログラムを自動生成し、これを実行時コンパイル。ここで生成されたGPUバイナリを用いて、ストレージから読み出したデータをGPUで並列処理すると....

開発者ブログ（English）：SSDtoGPU Direct SQL on Columnar-store (Apache Arrow)
01/09/2019

開発者ブログ（English）：SSDtoGPU Direct SQL on Columnar-store (Apache Arrow)

I have recently worked on development of FDW for Apache Arrow files; including SSDtoGPU Direct SQL support of PG-Strom. Apache Arrow is a column-oriented data format designed for application independent data exchange, supported by not a small number of "big-data" software. The latest revision of PG-...

開発者ブログ：Dive into Apache Arrow（その３）- SSD-to-GPU Direct SQL対応
01/09/2019

開発者ブログ：Dive into Apache Arrow（その３）- SSD-to-GPU Direct SQL対応

ここ最近取り組んでいた Arrow_Fdw 機能がようやく動くようになったので、性能ベンチマークを行ってみた。 今回のエントリでは順を追って説明する事にしてみたい。 Arrow_Fdwとは PostgreSQLにはFDW (Foreign Data Wrapper) という機能が...

住所

西大井1-1-2/206
Shinagawa-ku, Tokyo
140-0015

電話番号

+81364299607

ウェブサイト

アラート

Heterodbがニュースとプロモを投稿した時に最初に知って当社にメールを送信する最初の人になりましょう。あなたのメールアドレスはその他の目的には使用されず、いつでもサブスクリプションを解除することができます。

事業に問い合わせをする

Heterodbにメッセージを送信:

ショートカット

共有する

カテゴリー