Microsoft、PC操作をAIスキル化する「Skill Recorder」をGitHubで公開
- 桜井 未来
- 1 日前
- 読了時間: 2分
GitHub Copilot Chatと連携し操作記録からAIエージェント向けスキルや自動化スクリプトを生成
米MicrosoftがPC上の操作を記録し、AIエージェントが再利用できるスキルとして活用できるオープンソースツール「Skill Recorder」をGitHubで公開した。MITライセンスで提供されており、ユーザーが一連の作業を実演すると、その内容を基にスキルや自動化スクリプトのひな型を生成できる。
PC操作を記録しAIエージェント向けスキルを生成
Skill Recorderは、マウスやキーボードによる操作、ウィンドウの切り替え、URLへのアクセス、クリップボード操作などを記録できるほか、作業内容を音声で説明しながら記録することも可能だ。記録した内容は、GitHub Copilot Chatと組み合わせることで、AIエージェント向けの「SKILL.md」ファイルや自動化スクリプトの生成に活用できる。
GUI操作をCLIやAPIへ置き換え再利用性を向上
Skill Recorderは、記録したGUI操作をそのまま再現するのではなく、実行環境で利用可能なGitHub CLIや各種APIなどのネイティブな手段へ置き換えられる場合は、それらを優先して利用する設計を採用する。これにより、画面操作への依存を減らし、環境の違いに左右されにくい、再利用性の高いAI向けスキルの作成を目指している。
macOSとWindows 11に対応
Skill RecorderはmacOSおよびWindows 11に対応するデスクトップアプリとして提供される。記録データはローカル環境に保存される設計で、READMEでは、パスワードやAPIキーなどの機密情報を入力した状態で操作を記録しないよう注意を呼び掛けている。
Skill RecorderはGitHubでオープンソースとして公開されており、AIエージェントによるPC操作の自動化やスキル開発を支援するツールとして利用できる。
参照サイト
GitHub
Microsoft Skill Recorder
