go run xxxx.go で起動すると、「このアプリの機能のいくつかがwindows defenderファイアウォールでブロックされています」が出てきます

素直に、go build xxxxx.go として、exeファイルを作って、実施すれば、出てこなくなります。

swigを使ってgoとc++をブリッジをやっているのですが、そうなると、コンパイルオプションの

gcc xxxx xxxxx  -I c:\users\ebata\json\include

というような、力づくが使えないです。

まあ、色々やり方はありますが、一番簡単なのは、Windows10のコントロールパネルから、"CPATH" を作って、 ダイレクトに"c:\users\ebata\json\include"を書き込むのが簡単です。

スマートとか、かっこいいとか、汎用性とか、そういうことは、考えないのが良いです。

まず、何も考えないで以下のプログラムを実行

// go run main2.go

package main

import (
	"fmt"
)

func subPerson(i int) {
	fmt.Printf("Now... sub_person(%v)\n", i)
}

func person(i int) {
	fmt.Printf("Now... person(%v)\n", i)

	go subPerson(i)
}

func main() {

	for i := 0; i < 5; i++ {
		go person(i)
	}

}

当然、何も表示されれない。go routineが起動する前に、main()が終了してしまうから

なので、最後のスレッドが完了するまでは待機するようにする

// go run main2.go

package main

import (
	"fmt"
	"sync"
)

func subPerson(i int) {
	fmt.Printf("Now... sub_person(%v)\n", i)
}

func person(i int, wg *sync.WaitGroup) {
	defer wg.Done() // WaitGroupを最後に完了しないといけない。
	fmt.Printf("Now... person(%v)\n", i)

	go subPerson(i)
}

func main() {

	var wg sync.WaitGroup
	for i := 0; i < 5; i++ {
		wg.Add(1) // goルーチンを実行する関数分だけAddする
		go person(i, &wg)
	}
	wg.Wait()
}

$ go run main2.go
Now... person(0)
Now... sub_person(0)
Now... person(4)
Now... sub_person(4)
Now... person(2)
Now... person(3)
Now... sub_person(3)
Now... person(1)

ただ、これの場合、subPerson()が実行されないまま終了することがある。例えば、、上記の場合、sub_person(1)が実施されずに終了してしまっている。

なので、subPerson()の終了を持って、main()の終了とするようにすると、こうなる。

// go run main2.go

package main

import (
	"fmt"
	"sync"
)

func subPerson(i int, wg *sync.WaitGroup) {
	defer wg.Done() // WaitGroupを最後に完了しないといけない。
	fmt.Printf("Now... sub_person(%v)\n", i)
}

func person(i int, wg *sync.WaitGroup) {
	subWG := wg
	//defer wg.Done() // WaitGroupを最後に完了しないといけない。
	fmt.Printf("Now... person(%v)\n", i)

	go subPerson(i, subWG)
}

func main() {

	var wg sync.WaitGroup
	for i := 0; i < 5; i++ {
		wg.Add(1) // goルーチンを実行する関数分だけAddする
		go person(i, &wg)
	}
	wg.Wait()
}

結果は、以下の通りとなり、問題なし。

$ go run main2.go
Now... person(0)
Now... person(1)
Now... sub_person(1)
Now... person(4)
Now... sub_person(4)
Now... sub_person(0)
Now... person(2)
Now... sub_person(2)
Now... person(3)
Now... sub_person(3)

C++でJSONを扱わなければならなくなりました。

blog.livedoor.jp/tek_nishi/archives/10216517.html

に、

JSON for Modern C++ を紹介するよ！

ブログに書いた書いたと思い込んでてまったく触れてなかった...

このJSON読み書きライブラリは他のライブラリに依存しておらず、json.hppをインクルードするだけというお手軽さながら、JSONオブジェクトをめっちゃ気楽に扱えるようにしてくれます。

なん・・だと・・。インクルードするだけ・・ 採用決定！！

となりました。

で、早速、

$ git clone https://github.com/nlohmann/json.git

をして、

// g++ test_json.cpp -o test_json -I json/include/

#include <stdio.h>
#include <string.h>
#include <nlohmann/json.hpp>  
#include <iostream>

int main(int argc, char **argv){

  using json = nlohmann::json;

  json j;

  j["pi"] = 3.141;
  j["happy"] = true;
  j["name"] = "Niels";
  j["nothing"] = nullptr;
  j["answer"]["everything"] = 42;

  j["list"] = { 1, 0, 2 };         // [1,0,2]
  j["object"] = { {"currency", "USD"}, {"value", 42.99} };  // {"currentcy": "USD", "value": 42.99} 

  std::cout << j << std::endl;  // cout

  return 0;
}

をした後、

>g++ test_json.cpp -o test_json -I c:/Users/Ebata/json/include  (git cloneが展開された場所にjson/includeというディレクトリができているので、そこをダイレクトに指示する)

を行い、./test_json を実施したら、

さくっと動きました。

では、次にこのJSONをUDP通信で飛ばしてみます。

ゲストOSがLinuxのDockerコンテナの中から、ホストOSにデータを放り出す為に使ったUDPプログラム

この↑のプログラムを前提とします

■C++送信プログラム (キモは、std::string jj = j.dump(); です)

// g++ test_send_json.cpp -o test_send_json -I C:/Users/Ebata/json/include/ -lwsock32 -lws2_32 (Windows版)

#include <stdio.h>
#include <string.h>
#include <nlohmann/json.hpp>  
#include <iostream>
#include "simple_udp_win.h" // https://wp.kobore.net/江端さんの技術メモ/post-1959/
//#include "simple_udp.h"

//simple_udp udp0("0.0.0.0",12345); // これはWindowでは動かない
//simple_udp udp0("192.168.0.8",12345); // これは使わない方がいい
simple_udp udp0("127.0.0.1",12345); // ホストOSのUDPの受信側

int main(int argc, char **argv){

  using json = nlohmann::json;

  json j;

  j["pi"] = 3.141;
  j["happy"] = true;
  j["name"] = "Niels";
  j["nothing"] = nullptr;
  j["answer"]["everything"] = 42;

  j["list"] = { 1, 0, 2 };         // [1,0,2]
  j["object"] = { {"currency", "USD"}, {"value", 42.99} };  // {"currentcy": "USD", "value": 42.99} 

  std::cout << j << std::endl;  // cout

  std::string jj = j.dump(); // これが重要(これを見つけるのに時間がかかった)

  udp0.udp_send(jj);

  return 0;
}

■C++受信プログラム (キモは、json j = json::parse(rdata); です)

// g++ test_recv_json.cpp -o test_recv_json -I C:/Users/Ebata/json/include/ -lwsock32 -lws2_32

#include <stdio.h>
#include <string.h>
#include <nlohmann/json.hpp>  
#include <iostream>
#include "simple_udp_win.h" // https://wp.kobore.net/江端さんの技術メモ/post-1959/
//#include "simple_udp.h"

//simple_udp udp0("0.0.0.0",12345);  // これはWindowsでは動かない
//simple_udp udp0("192.168.0.8",12345); // これは使わない方がいい
simple_udp udp0("127.0.0.1",12345); // これを使うのが無難


int main(int argc, char **argv){
  
  using json = nlohmann::json;

  json j;
  
  udp0.udp_bind();
  while (1){
    std::string rdata=udp0.udp_recv();

    j = json::parse(rdata); // これが重要(これを見つけるのに時間がかかった)
    // j = json::parse(rdata.c_str()); これでも動くようだが

    std::cout << j << std::endl;  // cout
   
  }
  return 0;
}

さて、そろそろ詰めに入ろうか。

■GOのJSONのUDP受信プログラム(上記の「C++送信プログラム」と対向で動くもの)

// test_recv_json.go
// go run test_recv_json.go
// golangによるjsonのudp受信"だけ"するプログラム

package main

import (
	"encoding/json"
	"fmt"
	"net"
)

type Message struct {  // とりあえず3つ
	Pi    float64 `json:"pi"`
	Happy bool    `json:"happy"`
	Name  string  `json:"name"`
}

func main() {
	addr, _ := net.ResolveUDPAddr("udp", "127.0.0.1:12345")
	sock, _ := net.ListenUDP("udp", addr)

	var j Message

	i := 0
	for {
		i++
		buf := make([]byte, 1024)
		rlen, _, err := sock.ReadFromUDP(buf)
		if err != nil {
			fmt.Println(err)
		}
		str := string(buf[0:rlen])
		fmt.Println(str)

		// 受信したメッセージをJSON形式に格納する
		json.Unmarshal(buf[0:rlen], &j)

		// JSONに格納したデータを見る
		fmt.Println(j)

		fmt.Println(j.Pi)
		fmt.Println(j.Happy)
		fmt.Println(j.Name)

	}
}

■GOのJSONのUDP送信プログラム(上記の「C++受信プログラム」と対向で動くもの)

// test_send_json.go
// go run test_send_json.go
// golangによるjsonのudp送信"だけ"するプログラム

package main

import (
	"encoding/json"
	"fmt"
	"log"
	"net"
)

type Message struct { // とりあえず3つ
	Pi    float64 `json:"pi"`
	Happy bool    `json:"happy"`
	Name  string  `json:"name"`
}

func main() {

	addr, err := net.ResolveUDPAddr("udp", "127.0.0.1:12345")
	if err != nil {
		log.Fatal(err)
	}

	conn, _ := net.DialUDP("udp", nil, addr)

	if err != nil {
		log.Fatal(err)
	}

	var j Message
	j.Pi = 3.1415
	j.Happy = false
	j.Name = "Ebata"

	s, _ := json.Marshal(j)

	n, err := conn.Write(s) // WriteToUDPを使ってはならない
	fmt.Printf("dial send: bytes=%d to=%s\n", n, addr.String())

}

以上

0.追記(江端が、今、必要な情報をトップに)

### STLって面倒(strcpyでええやん)

// added by Ebata 2021/01/04
#include "simple_udp.h"

// Ebata added simple_udp 2021/01/05                                                                                    
simple_udp udp0("192.168.0.8",12345);

// added by Ebata 2021/01/04
std::cout << "Ebata:User:  " << user.id() << "," << user.current_xy().x() << "," << user.current_xy().y() << std::endl;
std::stringstream ss;
ss << "Ebata:User:  " << user.id() << "," << user.current_xy().x() << "," << user.current_xy().y() << std::endl;

// simple_udp udp0("192.168.0.8",12345);
udp0.udp_send("hello!\n");

//udp0.udp_send(ss);  エラー
//udp0.udp_send(ss.c_str()); エラー
udp0.udp_send(ss.str());

1.背景

LinuxのDockerコンテナの中から、一方的に、ホストOSにデータを放り投げる為のUDPプログラムです。

1行程度のデータをコンテナの外に出したいだけなのに、なかなか、良い方法が見つからず、結局UDP socketを使ってしまいました(websocket用にサーバを作るのも大袈裟で面倒でした(3～4行程度で記述したかった))。

ちなみに、UDPは、相手がいようがいまいが、一方的に送信し、一方的に受信待ちができる、とても便利な通信方式です。当然、送達保証はありません。

2. 環境

私のホストOSのIPアドレスは、192.168.0.8、ポートは、12345 と適当に選びました。

普通DockerにはUDPのポートオープンの設定が必要だと思いますが、今回は、テストプログラムでたまたまpingとUDPが通ってしまったので、何もやっていません(運が良かっただけかもしれません)。

テスト用のUDPプログラムは、こちら「UDP送受信プログラム」を使いました(何でも残しておくものです)

3.ソースコード

まるまる、こちらをコピペさせて頂きました → 「メカトロ講座03 c++でudp通信をする方法」

一行でUDP送信ができるようにしたかったもので。

3.1 共通のヘッダファイル(simple_udp.h)

// g++ -std=c++11 としないと動かない(ことがある)

// simple_udp.h

#include <sys/types.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <unistd.h>
#include <string>  // "string.h"だと通らないことがあるので、注意のこと(私は、ここで2時間ほど嵌った)

class simple_udp{
  int sock;
  struct sockaddr_in addr;
public:
  simple_udp(std::string address, int port){
    sock = socket(AF_INET, SOCK_DGRAM, 0);
    addr.sin_family = AF_INET;
    addr.sin_addr.s_addr = inet_addr(address.c_str());
    addr.sin_port = htons(port);
  }
  void udp_send(std::string word){
    sendto(sock, word.c_str(), word.length(), 0, (struct sockaddr *)&addr, sizeof(addr));
  }

  void udp_bind(){
    bind(sock, (const struct sockaddr *)&addr, sizeof(addr));

  }
  std::string udp_recv(){
            #define BUFFER_MAX 400
    char buf[BUFFER_MAX];
    memset(buf, 0, sizeof(buf));
    recv(sock, buf, sizeof(buf), 0);
    return std::string(buf);
  }
  void udp_recv(char *buf, int size){
    memset(buf, 0, size);
    recv(sock, buf, size, 0);
  }

  ~simple_udp(){
    close(sock);
  }
};

3.2 送信プログラム(udp_sendto.cpp)

// g++ udp_sendto.cpp -o udp_sendto で大丈夫だが、g++ -std=c++11としないと動かない(ことがある)

#include <stdio.h>
#include <string.h>
#include "simple_udp.h"

simple_udp udp0("192.168.0.8",12345); // ホストOSのUDPの受信側

int main(int argc, char **argv){
  udp0.udp_send("hello!");
  return 0;
}

3.3 受信プログラム(udp_recvfrom.cpp)

// g++ udp_recvfrom.cpp -o udp_recvfrom で大丈夫だが、g++ -std=c++11としないと動かない(ことがある)
#include <stdio.h>
#include <string.h>
#include "simple_udp.h"
simple_udp udp0("0.0.0.0",12345);

int main(int argc, char **argv){
  udp0.udp_bind();
  while (1){
    std::string rdata=udp0.udp_recv();
    printf("recv:%s\n", rdata.c_str());
  }
  return 0;
}

4.Windows10でMinGWのgccを使ってる私の場合のケース

以下のように変更した

4.1 共通のヘッダファイル(simple_udp_win.h)

// simple_udp_win.h

/* Windows版 */
#include <stdio.h>
#include <sys/types.h>
#include <winsock2.h>
#include <ws2tcpip.h>
//#include <sys/socket.h>
//#include <netinet/in.h>
//#include <arpa/inet.h>
//#include <netdb.h>
#include <string>  // "string.h"だと通らないことがあるので、注意のこと(私は、ここで2時間ほど嵌った)
#include <unistd.h> // error: 'close' was not declared in this scope; did you mean 'fclose'?


class simple_udp{
  int sock;
  struct sockaddr_in addr;

  // Windows専用おまじない(ここから)
  WSADATA wsaData;
  // Windows専用おまじない(ここまで)	  

 public:
  simple_udp(std::string address, int port){

	// Windows専用おまじない(ここから)
	WSAStartup(MAKEWORD(2,0), &wsaData);
	// Windows専用おまじない(ここまで)	  
	  
	sock = socket(AF_INET, SOCK_DGRAM, 0);
	addr.sin_family = AF_INET;
	addr.sin_addr.s_addr = inet_addr(address.c_str());
	addr.sin_port = htons(port);
  }
  void udp_send(std::string word){
	sendto(sock, word.c_str(), word.length(), 0, (struct sockaddr *)&addr, sizeof(addr));
  }
  
  void udp_bind(){
	bind(sock, (const struct sockaddr *)&addr, sizeof(addr));
  }
  std::string udp_recv(){
#define BUFFER_MAX 400
	char buf[BUFFER_MAX];
	memset(buf, 0, sizeof(buf));
	recv(sock, buf, sizeof(buf), 0);
	return std::string(buf);
  }
  
  void udp_recv(char *buf, int size){
	memset(buf, 0, size);
	recv(sock, buf, size, 0);
  }
  
  ~simple_udp(){
	close(sock);
  }
};

4.2 送信プログラム(udp_sendto_win.cpp)

// g++ udp_sendto_win.cpp -o udp_sendto_win で大丈夫だが、g++ -std=c++11としないと動かない(ことがある)
// g++ -g udp_sendto_win.cpp -o udp_sendto_win -lwsock32 -lws2_32
#include <stdio.h>
#include <string.h>
//#include "simple_udp.h"
#include "simple_udp_win.h"

//simple_udp udp0("192.168.0.8",12345); // ホストOSのUDPの受信側
//simple_udp udp0("0.0.0.0",12345); // ホストOSのUDPの受信側
simple_udp udp0("127.0.0.1",12345); // ホストOSのUDPの受信側

int main(int argc, char **argv){
  udp0.udp_send("hello!");
  return 0;  
}

4.3 受信プログラム(udp_recvfrom_win.cpp)

// g++ udp_recvfrom_win.cpp -o udp_recvfrom_win で大丈夫だが、g++ -std=c++11としないと動かない(ことがある)
// Windows の場合は、g++ -g udp_recvfrom_win.cpp -o udp_recvfrom_win -lwsock32 -lws2_32

#include <stdio.h>
#include <string.h>
#include "simple_udp.h"

//simple_udp udp0("0.0.0.0",12345); // ホストOSのUDPの受信側 simple_udp udp0("127.0.0.1",12345); int main(int argc, char **argv){ udp0.udp_bind(); while (1){ std::string rdata=udp0.udp_recv(); printf("recv:%s\n", rdata.c_str()); } return 0; }

シミュレータの対象人数が増えると、シミュレータがフリーズしてしまう、という問題が生じたので、まずは、手っ取り早く、Dockerコンテナのメモリとスワップを倍にしてみる処理をしてみた。

起動開始までの時間が恐ろしく長い(5分以上。なんでだ？)が、とりあえず、シミュレーション人数500人(実行時間4分弱)→3000人(22分)→4000人(16分？ なんで減っている)→での稼動を確認。

しかし、5000人は失敗、4500人も失敗。では、メモリをもう2G増量。

そこで、6GBまで上げてみた。

うん、こうしても、4500人は落ちるなぁ。

websocketコネクション数の問題かなぁ？

それより、多分、これは私のPCの物理メモリが16GBしかないので、Dockerの設定を大きくしても効果が出てこないのだろう、と推測しています。

ならば、逆に6GBで設定してしたままにしておいて、コンテナの方でメモリ制限するというのは、どうかな、と思いやってみました。

以下、docker-compose.ymlで改造した部分。今回は、controlのコンテナだけメモリ増量できれば良い(それ以外のコンテナは1GBで縛る)、という方針としました。

# docker-compose のバージョン

version: '3'

# 各コンテナの情報

services:

  # postgres サービス

  postgres:

    image:  pamtrak06/postgis-pgrouting-osm:latest

    # コンテナの名前

    # container_name: postgres_db

    # Dockerfile のディレクトリパス

    build:

      context: .

      dockerfile: ./docker/postgres/Dockerfile

    # postgres 設定

    environment:

      - POSTGRES_HOST_AUTH_METHOD=trust

      - POSTGRES_USER=postgres

      - POSTGRES_PASSWORD=XXXXXXX

      - POSTGRES_DB=XXXXXX

    volumes:

      - db_data

      - ./control:/go/src/work # マウントディレクトリ指定

    expose:

      - 5432 # 兄弟コンテナから5432でアクセスできるようにする

    ports:

      - "8910-8911:5432"

    tty: true # コンテナの起動永続化

    mem_limit: 1g # メモリを1Gに制限

  db_data:

    image: busybox

    volumes:

      - /data/db

    mem_limit: 1g # メモリを1Gに制限

  app_control: # service名

    build: . # ビルドに使用するDockerfileがあるディレクトリ指定

    tty: true # コンテナの起動永続化

    volumes:

      - ./control:/go/src/work # マウントディレクトリ指定

    expose:

      - 8900

    ports:

      - "8900-8901:8900"

    image: control_agent

    # container_name: control_agent_app

    # restart: always  # ログイン時に自動起動

    # ここだけメモリの制限をしない

  app_user: # service名

    build: . # ビルドに使用するDockerfileがあるディレクトリ指定

    tty: true # コンテナの起動永続化

    volumes:

      - ./user:/go/src/work # マウントディレクトリ指定

    expose:

      - 8920

    ports:

      - "8920-8921:8920"

    image: user_agent

    # container_name: user_agent_app

    # restart: always  # ログイン時に自動起動

    mem_limit: 1g # メモリを1Gに制限

  app_bus: # service名

    build: . # ビルドに使用するDockerfileがあるディレクトリ指定

    tty: true # コンテナの起動永続化

    volumes:

      - ./bus:/go/src/work # マウントディレクトリ指定

    expose:

      - 8930

    ports:

      - "8930-8931:8930"

    image: bus_agent

    # container_name: bus_agent_app

    # restart: always  # ログイン時に自動起動

    mem_limit: 1g # メモリを1Gに制限

5000人は失敗したけど、4500人まで増やすことに成功しました。

それと、controlコンテナのスピードが物凄く上がっているような気がします(比較計測できませんが)。

E: Unable to fetch some archives, maybe run apt-get update or try with --fix-missing?

がでてきたら、

とりあえず、

sudo apt-get update

sudo apt-get install

だな。

今回のコラム「あの医師がエンジニアに寄せた“なんちゃってコロナウイルスが人類を救う”お話」で、使わなかった図面。

でも、今後、「素材として使える」かもしれないので、忘れないようにアップしておく。

ファイル名は「ワクチン_ボツ図面.pptx」で、いつものところに置いておくので、忘れないように > 私