最近、映像制御の仕事をすることになりました。

WSLを使って、作業効率をはかりたいと考えていますが、WSLは基本的にコマンドインターフェースなので、表示システムを作らなければなりません。

「Windows11にWSL2＋Ubuntu20.04をインストールする」を試してみて、Golangをインストールしてみた件

すったもんだしているのですが、とりあえず、Windows10の方にX-Windowの方に、X serverを立てて表示ができたので、メモを残しておきます。

(というか、『Windows10上で、X-Windowsのサーバ動かす』という発想ができなかったので、

(gedit:5386): Gtk-WARNING **: cannot open display やらで、悩んでいました。

基本は、

Windows10のWSLでX11アプリケーションを実行してみた

の通りに実施したら動きました(実は、ここまで、手当たりしだい "sudo apt-get install" を乱発して

WSLの方から、

>export DISPLAY=:0

>gedit dummy.txt

 

と投入したら、X-windowsのエディタが立ち上がってきましたが、

など、たくさん問題が出ているようなので、対応を続けます(続く)

ところで、

WSLでGUIアプリを実行する

などで、自分の「上手くできなかったことを、きちんと書き残している方」のメモは本当に素晴しい。こういうメモは、普通の成功パターンしか記載していないメモの何十倍も役に立つのです。

で、まあ、それはさておき。

---

本命はこちら ――

GStreamer

です。

私、映像の伝送の研究は色々やってきたのですが(10～15年前)、映像そのものの研究は初めてなので、まずは、ローカルのパソコンで色々遊ぶ・・・もとい、調査することにしました。

で、今の私、GStreamerが何なのかも分かっていないのですが、「これを使え」と指示されているので、「これに突っ込んでいく」だけです。

『ほとんどの入門書は、入門者にとっては、ただの"ゴミ"』

マルチメディアフレームワークGStreamer　～　入門編

を参考にさせて頂き、

$ export DISPLAY=:0

$ gst-launch-1.0 videotestsrc ! autovideosink

で、これが出てきました。

おお！ やった！

WSLの方はこんな感じです。

$ gst-launch-1.0 filesrc location=./out.h264 ! avdev_h264 ! autovideosink

も、ちゃんと表示されるようです。映像の違いは分かりませんが。

カーネルコンパイルしたら表示されなくなりました(それが理由かは分かりません)。

$ gst-launch-1.0 -v videotestsrc ! x264enc ! avdec_h264 ! videoconvert ! autovideosink

で、表示できました。

(とりあえず、error: XDG_RUNTIME_DIR not set in the environment. だけでも潰しておこう)

ともあれ、最初の一歩は確保しました。

エラーコメントの表示対応のため、以下の設定をしておきました。

$ cd ~
$ vi .bash_profile

以下の2行を追加(正直、上の設定の意味は分からんが、とりあえずエラーは消える)。

export XDG_RUNTIME_DIR=/tmp/runtime-futa
export DISPLAY=:0

---

GStreamerによるレートコントロールについて調べています。

ラズパイにWEBカメラを接続してGStreamerを使った際に小一時間ハマった話

こちらに、

そして、例えば、任意のサイズやフレームレートでキャプチャを行いたい場合は、video/x-raw,width=1280,height=720,framerate=30/1 のような指定を行います。

というような記載がありました。

$ gst-launch-1.0 videotestsrc ! autovideosink

をちょっと変更して試してみました。

$ gst-launch-1.0 videotestsrc ! videoconvert ! video/x-raw,width=1280,height=720,framerate=30/1 ! autovideosink

画面がでっかくなって表示されました。

$ gst-launch-1.0 videotestsrc ! videoconvert ! video/x-raw,width=1280,height=720,framerate=1/1 ! autovideosink

これで、1fpsの表示になりました。

で、実際に映像ファイル(start_up.mp4)を持ち込んで表示してみました。

$gst-launch-1.0 filesrc location=start_up.mp4 ! decodebin ! videorate ! video/x-raw,framerate=30/1 ! autovideosink

これを、1fpsの表示に変えてみます。

$gst-launch-1.0 filesrc location=start_up.mp4 ! decodebin ! videorate ! video/x-raw,framerate=1/1 ! autovideosink

これを、1fpsのmp4ファイルとして保存してみます。

■1ftp映像に変換したもの "1ftp.mp4"
$ gst-launch-1.0 -e filesrc location=start_up.mp4 ! decodebin ! videoconvert ! videoscale ! videorate ! "video/x-raw,framerate=1/1" ! videoconvert ! x264enc bitrate=2000 ! mp4mux ! filesink location=1ftp.mp4

上記のコマンドでは、GStreamerのgst-launch-1.0ユーティリティを使用しています。filesrcエレメントを使用して入力ファイルを読み込み、decodebinエレメントを使用してデコードします。その後、videoconvertとvideoscaleエレメントを使用して動画の形式を変換し、videorateエレメントを使用してフレームレートを変更します。最後に、x264encエレメントを使用してビットレートを設定し、mp4muxエレメントを使用して新しいmp4ファイルに変換します。

---

ひき続き、SRTの通信実験を行ってみます。

(2)映像転送プロトコルは、現在、SRTが有力な候補

     (a)タイムスタンプが付与した再送機能付きUDP(と理解)

     (b)Gstreamerに標準装備されている(らしい)

で、高信頼の映像通信を実現するプロトコルのようです。

GStreamer で SRT を使用する その１

の内容をマネします。

私の場合、新規の設定をしないでも以下のコマンドが動きましたので、どっかで設定を終えてしまったのだと思います。

$ gst-launch-1.0 videotestsrc ! videoconvert ! x264enc tune=zerolatency key-int-max=30 ! mpegtsmux ! srtserversink uri="srt://:12345" latency=500

で、SRT の配信には、srtserversink を使用しているようです。

で、受信側は、VLCメディアプレーヤを用います。

※WSL2にしてカーネルコンパイルした後、

C:\Users\ebata>ipconfig

(中略)

Windows IP 構成

イーサネット アダプター vEthernet (WSL):

接続固有の DNS サフィックス . . . . .:
リンクローカル IPv6 アドレス. . . . .: fe80::c317:ce40:f52f:1a41%40
IPv4 アドレス . . . . . . . . . . . .: 172.22.144.1
サブネット マスク . . . . . . . . . .: 255.255.240.0
デフォルト ゲートウェイ . . . . . . .:

しか使えなくなってしまったので、上記のVLCのアドレスは、

とする必要が生じました。

これで、「再生(P)ボタン」を押すと、テスト映像が表示されます。

---

次にWebRTCの実験を行います。

ここでは、

Go + GStreamer でお手軽 WebRTC 体験

を試させて頂きました。

GOのソースは一つだけだったので、WSL環境から行ってみました(最初、エラーの嵐だったのですが、よく考えれば、私はWSLの方にGStremaerの環境を立てていたので当然でした。

結構エラーが出てきましたので、色々対応をしていました。

sudo apt-get install libgstreamer-plugins-base1.0-dev

で、一部解決したのですが、以下のエラーが取れません。
# pkg-config --cflags -- gstreamer-1.0 gstreamer-base-1.0 gstreamer-app-1.0 gstreamer-plugins-base-1.0 gstreamer-video-1.0 gstreamer-audio-1.0 gstreamer-plugins-bad-1.0 Package gstreamer-plugins-bad-1.0 was not found in the pkg-config search path.
Perhaps you should add the directory containing `gstreamer-plugins-bad-1.0.pc' to the PKG_CONFIG_PATH environment variable
No package 'gstreamer-plugins-bad-1.0' found pkg-config: exit status 1

で、

https://github.com/notedit/gstreamer-go

に訪問してみたところ、

$ sudo apt-get install libgstreamer-plugins-bad1.0-dev

が、当たりだったようです。

で、後は上記のページの記載通りにGOプログラムを動かしたのですが、

2023/05/25 17:57:31 peer state change: failed

が登場してきて、変だなーと思ていたのですが、実はこれ成功しています。

このメッセージの上に、Goの出力の「長い文字列」が主力されていました。

これを入力して、「start session」ボタンを押下したら、以下の画面がブラウザに表示されました。

では、動作も確認できたので、ここからコードの勉強に入りましょう。

---

WebRTC を今から学ぶ人に向けて

の中にある、

WebRTC コトハジメ

が分かりやすい。

好奇心旺盛な人のためのWebRTC

も良い。

私はGolang使いなので、https://github.com/pion/webrtcを使いこなしたいが、膨大で手が出ない状況。今、とっかかりを探している。

とりあえず、wsl -d Ubuntu-20.04で、
ebata@DESKTOP-P6KREM0:/mnt/c/users/ebata/から、
get clone https://github.com/pion/webrtc で、インストール。

https://github.com/pion/webrtc/blob/master/examples/README.md

から、

$ cd webrtc
$ cd examples
$ go run examples.go --address :8080

で、ブラウザ http://localhost:8080で以下の画面が出てくる。

で、

のところで、"Run JavaScript"を押して、暫く(2～3分)待っていると、

という漢字で文字列が出てくるので、これを、上記のGo + GStreamer でお手軽 WebRTC 体験 のプログラムに放り込んで、同じように得られた文字列を放り込むと、

てな感じで映像が表示される。

---

$git clone https://github.com/pion/rtwatch.git

に挑戦。

https://github.com/pion/rtwatch の内容通りに設定するが、実行のところだけ少し違った

ebata@DESKTOP-P6KREM0:/mnt/c/users/ebata/rtwatch$ go run main.go -container-path=start_up.mp4
Video file 'start_up.mp4' is now available on ':8080', have fun!

これで、複数の、http://localhost:8080/ から同期した映像が配信されるようすが分かる。

WSLでUSBカメラをどうにかしたくて、すったもんだしていました。

で、管理者モードでPowershellを立ち上げて

PS C:\WINDOWS\system32> wsl -l -v
NAME STATE VERSION
* docker-desktop-data Stopped 2
Ubuntu-20.04 Running 1
docker-desktop Stopped 2

の部分の1を2にしなければならないことが分かったので、

Windows10のWSLをWSL2に変換する手順

を参考にさせて貰って、

PS C:\WINDOWS\system32> wsl --set-version Ubuntu-20.04 2

をやりました、

ところが、数分どころか、いつまで経っても終わらないのでCrtl-Cで強制打ち切りをしたら、wslが全く動かなくなってしまいました。

いろいろやったのですが、最終的には、

起動しなくなったWSL2を復活させるまでにしたあれこれ

を参考にして、元に戻すことができました。

(大変失礼ながら、以下コピペをさせて頂いております。上記のページのリンクが切れると、私がパニックになりますので)

WSL2無効化→有効化

Ubuntuアンインストールでダメな場合（ダメでした）、WSL2を一回機能をオフにして再起動します。

「コントロールパネル -> プログラム -> Windowsの機能の有効化または無効化」を選択します。

「Linux用Windowsサブシステム」のチェックを外して再起動します。

で、チェックを外してから、なかなかシステムが終了を出してこないのですが、ここばガマンです。それでも10分はかからないと思います。

でもって次は、「Linux用Windowsサブシステム」のチェックを付けて再起動します。これも、いい感じでまたされますが、我慢します。

で、これらを終えて、やっと、コマンドプロンプトから、

$ wsl -d Ubuntu-20.04

と入力したのですが、それでも動きません。

管理者モードでPowershellを立ち上げて、

$ wsl --update

をして、別画面を経ち上げなおして、再度、

$ wsl -d Ubuntu-20.04

をしたところ、やっと、元の環境に戻りました(多分)。

「WSLでUSBカメラをどうにかする」をとっとと諦めていれば、こういう目に合わないのですが ―― エンジニアの性(さが)ですかねえ。

まあ、「別のマシンで同じ環境のシミュレータが動いている」という安心感があってのことでしたが。

で、まあ、ここからまた挑戦するんですよ。性懲りもなく。

 

どの会社でも、ボーナス支給前に、その内容について上司から説明を受けると思います。

I think that in every company, your supervisor explains the bonus's details before the bonus is paid.

今回も、これまでと同様、私の評価は「普通」でした。

Again, as in the past, my rating was "normal."

妥当な評価だと思います。

I think it is a fair assessment.

文句はありませんが、

I have no complaints, though; I think

―― ラクしようとして、手を抜いた仕事はない

"I never cut corners on my work to make it easier."

とは、思っています。

つまり、私は「全力疾走」をしていて「普通」なのです。

In other words, I am "running at full speed," and it is "normal."

-----

この原因は、

The reasons might be, I think,

(1)そもそも私の能力が低い、あるいは、

(1) My ability is low, to begin with, or,

(2)全力疾走の方向が的外れ、あるいは、

(2) The direction of the all-out effort is off the mark, or,

(3)上記(1)(2)の両方

(3)Both (1) and (2) above

なんだろうなぁ、と思っています。

さらに、悪いことに、私には、その上記(1)～(3)に思い当たる節がある、ということです。

Worse, I know the above (1)-(3).

-----

『外側から見える自分の評価は、自分の中から見える評価の半分以下である』は、よく聞かれる話です。

It is often heard that "the evaluation of oneself as seen from the outside is less than half of the assessment seen from the inside.

私には2つの選択、(A)上記(1)～(3)を改善する努力をするか、あるいは、(B)「自分の評価は自分が決める」と割り切るか、があります。

I have two choices, (a) make an effort to improve (1) - (3) above, or (b) be prepared to "let my reputation be my own."

私は「ラクな道」を選びます ―― 息が切れそうですけど。

I'll take the "easy way out" -- even though I'm out of breath.

『それが無ければ、社会で人並に評価されない』という残酷な世界の「個性」です。

 

WSL2環境からUSBシリアルデバイスを使う

 

最近は、リモート会議の様子が自動的に録画、録音されていて、後で自分の会話をレビューすることができますが ―― レビューしない方がいいです。

These days, remote meetings are automatically recorded, and you can review your conversations later -- but it's better not to review them.

一度、私、自分のしゃべっている英語をレビューして、(気分は)自殺未遂寸前になったことがあります。

Once, I was on the verge of (feeling like) attempting suicide after reviewing my own spoken English.

―― これが、人類のしゃべる言語か？

"Is this the language that mankind speaks?"

と。

-----

最近、特許出願の相談を受けることが多いです。

Recently, I have been asked to consult on a patent application.

私が役に立てる数少ない分野の一つですので、できる限り受けるようにしています。

It is one of the few areas where I can be helpful, so I try to take on as much as possible.

で、よせばいいのに、今日、その打ち合わせの録音を聞いてしまったのです。

I listened to the meeting recording today, even though I should not have done so.

私は、高音域の音声で、声が大きく、そしてしゃべる速度が早い。

I have a high-pitched voice, a loud voice, and a fast speaking rate.

―― しゃべり方が、すでにパワハラっぽい

"The way I speak already sounds like power harassment."

『これは、本当にマズい』と思いました。

I thought, 'This is bad.'

普通にしゃべっているだけで、相手にプレッシャーをかけていたとしたら、シャレにならない。

It would be embarrassing if I were putting pressure on others just by talking usually.

ましてや、相手をメンタル障害や自殺に追い込んだりしてしまったら ―― 私は、存在自体が「凶器」になってしまう。

And if I drive the other person to mental disorder or suicide -- I would be a "deadly weapon" in my very existence.

-----

という訳で、日本中の全ての管理職のみなさん。

So, to all managers throughout Japan.

一度、自分の声の入った部下の会話の録音と、真正面から対峙してみましょう。

Once you face a recording of a subordinate's conversation with your voice in it.

あなたが『自殺未遂寸前』の気持ちになることは確実ですが ―― それでも、部下に自殺されるよりは、ずっとマシです。

I am sure you will feel 'on the verge of a suicide attempt' -- but still, it is much better than having your subordinate commit suicide.

「『異性から告白されたことがない女性なんかいる訳ないよね～～』とか、だ」

会社でモノを買うのが面倒なので、最近は自費購入を検討するようになってきています。

Buying things at the company is a hassle, so I've recently considered buying things at my own expense.

「申請」の手続は面倒なのですが、それと同様に「滅却」がもの凄く面倒です。

The "application" process is tedious, but the "disposal" process is just as tedious.

1年以内で"滅却"するものの為に、半年以上の手続が必要となることもあります。

For items to be "disposed" within a year, more than six months of processing may be required.

まあ、法律上の仕組みとして、仕方がないことだと理解してはいるのですが。

Well, I understand that as a legal mechanism, it is inevitable.

-----

私には、これといった金のかかる趣味がありません。

I have no expensive hobbies.

スポーツ、イベント、旅行、自動車、コレクションなどに、興味がありません。

I am not interested in sports, events, travel, cars, collections, etc.

私のやっていることと言えば「文章を量産すること」くらいでしょうが ―― これは時間はかかりますが、金はかかりません。

I guess the only thing I do is "mass-produce texts" -- this takes time, but it doesn't cost money.

-----

物品を自腹で購入すると『それを使い倒そう(or もとを取ろう)というモチベーション』が働くので、技術が身につきます。

Purchasing goods with one's own money motivates one to "use it up" so one acquires skills.

とは言え、これは、たまたま、私の欲しいものが、私の持っているお金の範囲であるから、できることです。

However, I can do this because, as it happens, what I want is within the money I have.

例えば、スパコンの研究や、電気自動車の研究している人が、自腹を切るのは無理でしょう。

For example, someone working on a supercomputer or researching electric cars would not be able to pay for themselves.

まあ、20年も経てば、自分のお金でなんとかなるかもしれませんが、その時は遅いんでしょうね。

Well, after 20 years, they may be able to get by on my own money, but by then it will probably be too late.

なるほど、『私たちは、みんな、20年前のスパコンを使っている』ことになる訳です。

この年齢になって分かってきたのですが、

I've come to understand at this age,

―― 上司の個人的コメントは、部下にとっては「命令」になる

"A supervisor's "personal comment" becomes an "order" to his/her subordinates."

という現実と、

This is a reality of the situation, and

それに気がついていない上司が、恐しいほど多いということです。

The fact is that there are an alarming number of bosses who are unaware of this.

----

私、特許創成に関する、課長クラスの集りの時に、

At a gathering of section chiefs regarding patent creation, I said that

『君たちのコメントは、部下にとっては"神の言葉"なのだから、むやみに自分の"個人的コメント"を口にしてはならない』

Your comments are the "word of God" to your subordinates, so don't be careless with your "personal comments."

と言いました。

そして、「部下は、必ず上司に忖度する」という実例を語って聞かせました。

And I said that real-life examples of how "subordinates will always surmise their superiors."

ところが、課長の一人から、

However, one of the section chiefs said to me,

「江端さんが特許について語るとき、"神の言葉"になっている、という事実に気がついていますか？」

"Are you aware that when Mr. Ebata talks about patents, it will be the "word of God"?"

と言われて、呆然としたことがあります。

I was stunned by his comment.

-----

本当に、『それに気がついていない上司が、恐しいほど多い』のです。

"There are a frightening number of bosses who are unaware of this" is the fact.

「特許明細書のロジック」の説明の仕方

 

自分で作ったコードは、原則として、他人の環境では動かない ―― これ、コードの常識です。

As a rule, your code will not work in someone else's environment -- this is common sense for code.

仮想環境やマイクロサービスは、その問題を解決する手段なのですが、その環境を作るのにも失敗する ―― これ、環境構築の常識です。

Virtual environments and microservices are a way to solve that problem, but they also fail to create that environment -- this is common sense in environment building.

総じて『人の作ったコードを、自分のパソコンで動かそうとすると、大変苦労する』というのは、 開発者の常識です。

It is common knowledge among developers that "it is tough to run code written by others on a computer.

で、問題はここからです。

And here comes the problem.

この常識を知らない人は、開発者に対して「なぜ動かないか？動かすにはどうしたらいいか？」と、平気で質問をしてきます。

People who do not know this common sense will ask developers, "Why doesn't it work? How do I get it to work?" they are not afraid to ask questions.

―― そんなもん分かるわけねーだろう

"How could I possibly know that?"

と、しか返事のしようがありません。

The only way I can reply is.

だって、私の環境では、コードは動いているからです。

Because, in my environment, the code is working.

-----

開発者に、質問者を『助けてやりたい』と思わせるか、『うっとうしい野郎だ』と思わせてしまうかを、分(わか)つ分岐点があります。

There is a dividing line between making the developer think, "I want to help you," and making the developer feel, "He's an annoying son of a bitch.

それは、『この問題を解決する為に、自分にできることは全てやりきった』ことを、できるだけ詳細に記載することです。

It is to describe in as much detail as possible how you have 'done everything you can to solve this problem.'

これによって、あなたの真剣さと、あなたの苦しみが、開発者に伝わ(ることがあ)ります。

This will let the developer know how serious you are and how much pain you are in.

後は、できるだけ丁寧な文面で、『時間があって、気が向いたら教えて下さい』というフレーズを、必ず加えることです。

After that, you should be as polite as possible and add, 'Please let me know when you have time and feel up to it.

善意かつ無償でコードを公開している開発者は、あなたの問題を解決する義務も責任も1mmもなく『気が向いたら助ける』が原則です。

Developers who release code in good faith and for free are not obligated or responsible for solving your problems but are there to "help when they feel like it."

-----

まあ、この辺の話は、ここの話と一緒です。

Well, the story here is the same as the story here.