以前「システムの運用の怖さ」について書きました。
Previously, I wrote about “the fear inherent in operating systems.”
私は、稼動中のサービスに手を加えるなどという恐しいことはできません ーー サービスを停止させることよりも、サービスが再起動しなくなる恐怖が、半端ではないからです。
I cannot bring myself to do something as frightening as modifying a service that is already running — because the fear that it might fail to restart is far greater than the fear of simply stopping it.
実際、私は、最近、政府系のアプリとChatGPTの連携によって、PCを破壊され、その復旧に恐しい時間と労力をかけさせられたところです。現在は、壊されたPCから取り出したHDDとSSDがドッキングステーションに差し込まれて、剥き出しのままの状態で運用されています。
In fact, recently, through linking a government-related application with ChatGPT, my PC was effectively destroyed, and I was forced to spend an enormous amount of time and effort restoring it. At present, the HDD and SSD removed from the damaged PC are inserted into a docking station and are being operated in an exposed state.
移植した心臓を、体外で強制的に動かして、代替PCに強制的に血液を流し込んでいるような ーー なんとも無惨な状態で代替PCを運用しています。
It feels as though a transplanted heart is being forcibly kept beating outside the body, pumping blood into a substitute PC — a truly miserable way to operate a replacement machine.
---
この週末は、大学の先生からご依頼を受けて開発しているシステムの開発を(も?)していました。
This weekend, I was (also?) working on the system I am developing at the request of a university professor.
既存のシステムを止めないで、システムを拡張する方法について、終日頭をフル回転しながらコーディングしていました。
I spent the entire day coding, my mind running at full capacity, trying to figure out how to extend the system without stopping the existing one.
ITサービスのクローンを作れば良い ーー と、まあ普通の人は、それを軽く考えるかもしれませんが、実際のシステムでは、ポート番号やDB名称の衝突などが発生するため、自動的にITサービスのクローンを作って、それを並列稼動させることはできないのです。
One might casually think, “Just create a clone of the IT service.” However, in real systems, conflicts such as port numbers and database names inevitably arise, so it is not possible to automatically create a clone and run it safely in parallel.
そんな訳で、1からクローンシステムを作って、そこに新しく開発したWebシステムの組込みを、ようやく先程完了しました。
For that reason, I built a clone from scratch, and I have just integrated the newly developed web system into it.
暫く稼動状況を監視しながら、安定運用が確認されるまでは、このまま既存のサービスと並列運用するしかありません。
For now, I have no choice but to run it in parallel with the existing service, monitoring its operation until stability is confirmed.
---
ChatGPTの言うままに作業して、PCを壊されたという今回の事件を受けて、私は、ChatGPTの内容をちゃんと理解してシステム構築をする重要性を痛感しています。
In light of this incident — where following ChatGPT’s instructions ruined my PC — I have come to deeply appreciate the importance of properly understanding what ChatGPT says before building systems based on it.
結局のところ、ChatGPTが便利ではあっても、私自身が、ChatGPTのやっていることが理解できるレベルになければ、役に立たないどころか、日常が破壊されることになる ーー 私は、このことで、私は極めて小さい世界ではあるものの、"検証した"のかな、と思っています。
Ultimately, even if ChatGPT is convenient, if I myself am not at a level where I can understand what it is actually doing, it is not merely useless — it can disrupt my daily life. In that sense, I suppose I have “verified” this, albeit within a very small world.
私の検証基準は、比較的明快で「ChatGPTの判断に疑問を持って、ちゃんと反論できるか」ということです。
My criterion for verification is relatively simple: whether I can question ChatGPT’s judgment and properly argue back against it.
実際ところ、ChatGPTとの会話の往復が5回を越えて、問題が解決しなかったら、もう間違いなく、ChatGPTは、破滅に向うアドバイスを開始している ーー これは、私の経験上では明らかです。
In my experience, if the back-and-forth with ChatGPT exceeds five exchanges without resolving the issue, it has almost certainly begun to give advice that leads toward disaster.
ーー そのコマンドおかしい
— That command is wrong.
ーー ポート番号の衝突が発生しないか
— Won’t that cause a port number conflict?
ーー そのDockerの起動は、現在運用中のサービスとコンフリクトするだろう
— That Docker startup will conflict with the service currently in operation.
ということを私が指摘すると、ChatGPTは素直にその言うことを理解し、回答を修正しますが ーー そういう修正を私達がしないと、ChatGPTは、場当たり的な回答を言い始めます。こうなった場合、問題は解決せずに、悪化に向います。
When I point these things out, ChatGPT readily understands and revises its answer. However, if we do not make such corrections ourselves, ChatGPT begins offering ad hoc responses. In that case, the problem does not get solved; it worsens.
こういう悪化の状況を検知した場合、「ChatGPTとの会話を停止する勇気」と「自分で最初からレビューしなおす気力」は必要です。
When such deterioration is detected, what is required is the courage to stop the conversation with ChatGPT and the determination to review everything from the beginning on one’s own.
---
システムとかプログラムであれば、ChatGPTの指示が誤っていることを「動くか/動かないか(最悪、壊されるか)」で検証できます。
With systems or programs, we can verify whether ChatGPT’s instructions are wrong by seeing whether they work (or, in the worst case, break).
ただ、これが、検証不能または検証困難な対象 ーー 政策とか、信念とか、病気とか、恋愛とか、そういうものに使われた時、ChatGPTのアドバイスは、恐しい毒となりえます。
However, when applied to subjects that are impossible or difficult to verify — policies, beliefs, illness, love, and the like — ChatGPT’s advice can become a frightening poison.
ChatGPTなどの生成AIは、私たちを良い気分にさせて、私たちの行動を誘導します。もちろん、その誘導に乗っても良いとは思いますが、生成AIは、『その言動に責任を一切持たないこと』には留意すべきです。
Generative AI, such as ChatGPT, makes us feel good and guides our actions. Of course, one may choose to follow that guidance, but we must remember that generative AI bears no responsibility whatsoever for the consequences of its words and actions.
私の場合、ChatGPTが「これで必ず動きます」「もう一歩です」を5回繰り返した段階で、すでに「こいつ(ChatGPT)は、もうダメだ」という判定に用いるようにしています。
In my case, when ChatGPT repeats phrases like “This will definitely work” or “Just one more step” five times, I already use that as a signal that “this thing (ChatGPT) is no longer reliable.”
---
ChatGPTが、こういうことを言い出したら、真っ先に「危ない」と思う感性を掴むには ーー 逆説的ではあるのですが、ChatGPTを使い倒すこと ーー が、現時点での一つの解のように、私には思えます。
To develop the instinct to immediately sense “danger” when ChatGPT starts saying such things — paradoxically — the only current solution, it seems to me, is to use ChatGPT exhaustively.
使いながら、疑い、反論し、止める。その繰り返しの中でしか、その距離感は身につかないのかもしれません。
Only by using it, doubting it, arguing against it, and stopping it — over and over — can one perhaps acquire the proper sense of distance.
少なくとも私は、そうやって痛い目を見ながら、ようやくその距離を測り始めたところです。
At least for me, it has been through painful experiences that I have only just begun to learn how to measure that distance.
『行政府が提供するアプリを使うと、下手なウィルスより、酷い結果が待っている』 『メインのPCには絶対にインストールしないこと』


