← Publications

DIS ’26 · 2026

Profy

Interpretable Visualization of Expertise-DependentMotor Skills Toward Supporting Piano Practice

ピアノ学習者が、練習し直す場所を見つける手がかりを示す。Helping piano learners identify passages to revisit in practice.

Kazuki Kawamura1,2 · Fujiki Nakamura1 · Hayato Nishioka2,3 · Momoko Shioki2,3 · Shinichi Furuya2,3 · Jun Rekimoto1,2

1 The University of Tokyo 2 Sony Computer Science Laboratories 3 NeuroPiano Institute

Designing Interactive Systems Conference · June 13–17, 2026 · Singapore

From performance data to time- and score-aligned review cues. Paper, Figure 1.
演奏データから、時間軸と楽譜に対応する見直し箇所を示す流れ。論文 Figure 1。From performance data to time- and score-aligned review cues. Paper, Figure 1.

研究の概要Overview

演奏全体に点数をつけるだけでは、次にどこを練習すればよいか分かりにくい。Profyは、鍵盤の動きと演奏の音を調べ、聴き直す候補を時間軸上に示します。楽譜と対応づけられる場合は楽譜上にも表示し、気になる部分の再生や繰り返しを助けます。

A single score for a performance rarely tells a learner where to practice next. Profy analyzes synchronized piano key motion and audio to highlight passages for review. Time-aligned cues, and score overlays when alignment is available, support scrubbing, looping, and focused replay.

どのように動くかHow it works

  1. 鍵盤の動きを毎秒1,000回記録し、演奏の音と時間をそろえて分析します。
  2. 学習に使うのは、演奏全体に対する評価から作った「熟練者らしい／アマチュアらしい」というラベルです。どの瞬間を見直すべきかという細かな正解は、モデルの学習に使いません。
  3. モデルが判断に使った時間ごとの手がかりを、見直す場所のハイライトに変えます。
  1. Capture key motion at 1 kHz, synchronized with performance audio.
  2. Learn from take-level expert/amateur labels derived from listener ratings, without localized training annotations.
  3. Turn time-localized model evidence into review highlights.
ピアノロール上の演奏の一部が赤く強調されたイメージ図Piano roll with a passage highlighted in red for review
演奏をピアノロールで表し、練習し直す場所を考える手がかりを赤く示したイメージ図です。「きらきら星」の旋律を用いています。A conceptual piano roll uses the melody of “Twinkle, Twinkle, Little Star” to illustrate passages highlighted for closer review in practice. 論文の評価グラフ（Figure 5）を見る ↗View the evaluation graph (paper Figure 5) ↗

何が分かったかFindings

  1. 演奏全体の評価を予測できました。73人・1,083件の演奏を使い、学習に含めていない人の演奏が「熟練者らしい／アマチュアらしい」のどちらと評価されたかを予測しました。正解率は平均78.2%で、常に件数の多い側を答える方法の55.1%を上回りました。
  2. 聴き直す場所も、専門家の指摘と重なりました。専門家21人が演奏20件に付けた印と比較したところ、注目する場所の傾向を表す相関係数は0.61（1に近いほど同じ傾向）、専門家が選んだ場所を優先して示す指標ROC-AUCは0.75（偶然なら0.50）でした。
  3. 演奏全体への評価だけから学習しても、専門家が確認したい場所に近い候補を示せました。演奏を丸ごと聴き直す際に、どこへ注意を向ければよいかの手がかりになります。
  1. The model predicted overall performance ratings. Using 1,083 takes from 73 pianists, it classified expert-like versus amateur-like labels for performers excluded from training with 78.2% mean accuracy, compared with 55.1% for always choosing the more common label.
  2. Local review highlights also aligned with expert judgments. Compared with spans marked by 21 expert pianists on 20 clips, the highlight pattern achieved Pearson r = 0.61 (1 indicates the same pattern). ROC-AUC was 0.75 for ranking expert-selected moments above other moments (0.50 is chance).
  3. Overall performance labels were enough to produce local review candidates resembling expert selections. These cues offer a starting point for deciding where to focus when listening back to a performance.

発表スライドPresentation slides

Profy — slide 1 of 16
1 / 16

スライドPDFを開く ↗Open slides PDF ↗

引用Citation

@inproceedings{kawamura2026profy,
  title = {Interpretable Visualization of Expertise-Dependent Motor Skills Toward Supporting Piano Practice},
  author = {Kazuki Kawamura and Fujiki Nakamura and Hayato Nishioka and Momoko Shioki and Shinichi Furuya and Jun Rekimoto},
  booktitle = {Designing Interactive Systems Conference},
  year = {2026},
  publisher = {Association for Computing Machinery},
  doi = {10.1145/3800645.3812903}
}

本文と図は上記の原著論文に基づきます。図をクリックすると拡大できます。Text and figures are based on the original paper linked above. Select a figure to view it at full size.

関連する研究Related research