株ツールを試しに動かしたら問題だらけだった。そこからの改善【96NEKO LAB開発記録 #8】
- #Claude Code
- #AI活用
- #日本株
- #自動化
はじめに
前回、「朝の日本株チェック」を毎朝自動で更新する仕組みに作り直しました。
本番の朝を待たずに、その日の夜にクラウドで試しに動かしてみました。
1回目の結果:使えるレベルではなかった
仕組みとしては最後まで動き、サイトにも反映されました。ただ、中身を見ると、
- 昨夜の材料が2件しかない
- 数字のほとんどが「未確認(情報源1つ)」
- 一番見たい「前日比 何%」が空欄の指標が多い
という状態でした。Claude Codeに感想を聞いても、
「まだ朝8時半の判断材料としては使えない」
という正直な評価でした。
原因:検索結果の短い要約だけで書いていた
調べてみると、クラウドで動くAIは、Web検索の結果に出てくる短い要約しか見ていませんでした。
記事の本文を開けないため、数字を正確に読んだり、別のサイトで確かめたりができていなかったのです。
同じ会社の上方修正でも、実行するたびに書かれる数字の内容がぶれていました。
そこで、
- クラウドのAIが、記事や会社の発表のページを開けるようにする
- 開いてはいけないサイト(自動取得を禁止しているサイト)を一覧で決めておく
- 検索の言葉を増やす(日付の書き方を変える、会社名から銘柄コードを調べるなど)
という改善をしました。ページを開けるようにするため、クラウドのネットワークの設定も自分で変更しています。
2回目の結果:かなり良くなった
同じ日の夜にもう一度動かすと、
- 昨夜の材料:2件 → 11件
- 2つの情報源で一致した材料:0件 → 5件
- 前日比が出た指標:9つ中2つ → 9つ中7つ
と、だいぶ使える形に近づきました。
AIのミスもあった
途中で、Claude Code自身のミスも見つかりました。
毎朝の手順書を書き換えたときに、手順書の後半(「売買のすすめは書かない」などのルールや、出力の形式)を誤って消してしまっていたのです。
次の修正の途中で自分で気づいて報告し、元に戻してくれましたが、1回目の試し実行はこの欠けた手順書で動いていました。
また、夜に試し実行したときには、クラウドのAIが
「今日の分は朝に公開済みなので、夜の値で上書きしないほうがいい」
と自分で判断して、更新を見送ったこともありました。気を利かせてくれたのですが、試したいときには困ります。
そこで、「実行した時刻に関係なく、必ず最新の内容で作り直す」と指示に書き足しました。
細かいけれど大事な修正
- 「増配は年20円」のように2通りに読める書き方をやめ、「60円→80円(20円増配)」のように前と後を並べる
- 終値・前日比・変化率の計算が合わない数字は、変化率を表示しない
- 情報源によって値が食い違う指標は、無理に載せず空欄にする
- 祝日の一覧を入れて、祝日には自動で「更新なし」にする
やってみて感じたこと
作ってすぐに試し実行して、結果を見ながら直す流れがとても大事だと感じました。
1回目の結果を見るまでは、「検索の要約しか見ていない」という問題には気づけませんでした。
次の記事では、実際に使う目線で見て足りなかった「海外の材料」と「関連銘柄」の話を書きます。