社内LLMサービス展開から1か月をデータで振り返る

社内ネットワークで安全に運用できるLLM APIを導入して1か月。コード補完を中心に38万回超のアクセスを記録し、新入社員教育やコミュニティ形成により社内での利用が大きく促進されました。この記事では運用データを基にオンプレミスと外部APIのメリット・デメリットを比較し、実際の運用から見えた課題や効果を詳しく解説します。

Llama 4 をオンプレミス環境で動かしてみた

2025年4月6日、Llama 4 が公開されました。Llama 4 は画像、動画の入力が可能なマルチモーダルモデルで、109B パラメータの Llama 4 Scout、400B パラメータの Llama 4 Maverick、 2000B パラメータの Llama 4 Behemoth というラインナップとなっています。今回は、Llama 4 Scout をオンプレミスで動作させることを想定して、動作確認とプロファイリングを行います。

Tensorコアを使ってみた

アルバイトの大友です。 TensorコアのWMMA APIを使っている人があまりいなかったため、6月中はインターンとして、7月からはアルバイトとしてその使い方や性能を調べていました。 この記事はその成果をまとめたものです

GPUの温度と性能低下

先日、GeForce GTX 1080 Tiを2枚積んだマシンを計算サーバとして追加導入しました。 新しいマシンで意気揚々と学習を回していたのですが、時間がたつにつれて学習速度が低下していったり、マルチGPU化しても性能

GpuMatの内部を探検してみる

はじめに OpenCVにはGpuMatというCUDA実装を行うためのデータ構造が用意されており、CUDAを使って実装された各種アルゴリズムもcudaモジュールという形で提供されています(※詳細は公式ドキュメントを参照くだ
Recent Comments

Social Media