archive

Mon, 01 Jan 0001 00:00:00 +0000

Intro(Bridge) #
Reference #

Mon, 01 Jan 0001 00:00:00 +0000

bridge网络 #

目前的理解是

1. 容器中的eth0接口通过veth pair 连接到docker0 网桥。
2. docker0网桥创建的时候会自动生成一个网络接口并附有172.17.0.1的ip，参考
3. docker0 与 eth0 之间没有直接的关联，而是通过 ip_forward/ docker-proxy 等技术进行转发的。参考文档，有以下片段。
Looking at the diagram, the interface docker0 has a connection to the eth0 interface, this gives the ability to our containers to send pings to other machines on the internet. But in reality, this connection is made using a Linux firewall named “Iptables”.

参考资料 one #
参考资料 two #

Mon, 01 Jan 0001 00:00:00 +0000

Intro(HTTP) #
- 分块传输编码 #
  
  Response Header 中存在 Transfer-Encoding: chunked的话，就是分块传输，数据需要按照格式解码。[ 参考]
  
  应用场景：使用 socket 发送 http/https 请求的时候会返回数据报文，需要自己解析。比如：
  1. 模拟 vless客户端发送 wss + https 请求: 先与vless服务器创建一个通过tls加密的websocket隧道连接。
  2. 发送command(ipaddr, port) + 握手消息到websocket服务器，并与目标服务器建立连接并且发送Client Hello[一般情况下是这个]，后续让BC库完成握手。
  3. 读取 tls[BC.TlsClientProtocol]解密后的报文，此时需要注意可能存在分块传输如下图。
- 响应头大小写 #
  
  (参考 rfc | 7540) 在 http2 中，响应头的 key 必须为小写，其他的视为畸形的，但是在 http1.1 中大小写不敏感。
  
  使用 curl 验证即可，一般浏览器应该会自动转化，比如 chrome 即使小写也会转化成首字母大写。
  下列命令查看响应头区别：curl -I --http1.1 https://wtfu.site，curl -I --http2 https://wtfu.site
Reference #
- https://en.wikipedia.org/wiki/Chunked_transfer_encoding
- https://www.runoob.com/http/http-tutorial.html

Mon, 01 Jan 0001 00:00:00 +0000

Intro(网络栈) #

直接往网卡发送数据 #

通过对网络模型以及 tcp/ip 协议栈的了解，是可以不通过协议栈处理而使用系统调用直接往网卡上面发送数据的。示例如下：（在 linux 上面的实验，macosx 因为限制原因，修改不了 MAC source address，但是 Linux 完全没有问题。）

抓包命令sudo tcpdump -i eth0 arp -w nic.pcap， nic.pcap file download

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <arpa/inet.h>
#include <net/if.h>
#include <sys/ioctl.h>
#include <sys/socket.h>
#include <linux/if_packet.h>
#include <net/ethernet.h>

int main() {
 int sockfd;
 struct ifreq if_idx;
 struct sockaddr_ll socket_address;
 char sendbuf[1024];
 unsigned char src_mac[6] = {0x00, 0x0c, 0x29, 0x7b, 0x3e, 0x1f}; // 本机 MAC 地址
 unsigned char dst_mac[6] = {0xff, 0xff, 0xff, 0xff, 0xff, 0xff}; // 广播 MAC 地址
 unsigned char *data = "Hello Ethernet!";
 int data_len = strlen(data);

 // 创建 Packet Socket
 if ((sockfd = socket(AF_PACKET, SOCK_RAW, htons(ETH_P_ALL))) == -1) {
 perror("socket");
 exit(EXIT_FAILURE);
 }

 // 获取网络接口索引
 memset(&if_idx, 0, sizeof(struct ifreq));
 strncpy(if_idx.ifr_name, "eth0", IFNAMSIZ - 1);
 if (ioctl(sockfd, SIOCGIFINDEX, &if_idx) < 0) {
 perror("SIOCGIFINDEX");
 close(sockfd);
 exit(EXIT_FAILURE);
 }

 // 填充以太网帧头
 struct ethhdr *eh = (struct ethhdr *)sendbuf;
 memcpy(eh->h_dest, dst_mac, 6); // 设置目标 MAC 地址
 memcpy(eh->h_source, src_mac, 6); // 设置源 MAC 地址
 eh->h_proto = htons(ETH_P_ARP); // 设置协议类型（这里假设是 ARP）

 // 填充数据部分
 memcpy(sendbuf + sizeof(struct ethhdr), data, data_len);

 // 设置目标地址
 memset(&socket_address, 0, sizeof(struct sockaddr_ll));
 socket_address.sll_family = AF_PACKET;
 socket_address.sll_protocol = htons(ETH_P_ARP);
 socket_address.sll_ifindex = if_idx.ifr_ifindex;
 socket_address.sll_halen = ETH_ALEN;
 memcpy(socket_address.sll_addr, dst_mac, 6);

 // 发送数据包
 if (sendto(sockfd, sendbuf, sizeof(struct ethhdr) + data_len, 0,
 (struct sockaddr *)&socket_address, sizeof(struct sockaddr_ll)) < 0) {
 perror("sendto");
 close(sockfd);
 exit(EXIT_FAILURE);
 }

 printf("Data sent successfully!\n");
 close(sockfd);
 return 0;
}

网络堆栈 #

Mon, 01 Jan 0001 00:00:00 +0000

Intro(PROXY) #
Reference #

Mon, 01 Jan 0001 00:00:00 +0000

Intro(SOCKET) #

socket 是网络架构中程序与操作系统网络协议栈进行交互的接口API。从所处的地位来讲，套接字上联应用进程，下联网络协议栈，是应用程序通过网络协议进行通信的接口。
linux数据结构定义、 C demo

作为服务端，先创建一个socket，返回fd，然后与地址(ip+port)进行绑定，监听，然后接收
作为客户端，先创建一个socket，返回fd，然后与地址(serv ad)进行连接，发送
- 系统调用 #
  - socket() #
    
    原型：int socket(int domain, int type, int protocol); 例如：socketfd = socket(AF_INET, SOCK_STREAM, 0); 【man2】
    用来创建一个socket，并且返回引用的文件描述符fd。
  - bind() #
    
    原型：int bind(int sockfd, const struct sockaddr *addr, socklen_t addrlen); 例如：bind(socketfd, (struct sockaddr*)&serv_addr, sizeof(serv_addr)); 【man2】
    分配一个地址给socket。
  - listen() #
    
    原型：int listen(int sockfd, int backlog); 例如：listen(listenfd, 10); 【man2】
    listen函数将 socket 文件描述符标记为被动 socket,也就是服务端的socket，执行完之后，文件描述符处于监听状态。使用accept获取客户端连接。backlog 定义 socket允许待处理的客户端连接的队列长度。全连接和半连接会使用到这个值(和内核版本有关)
  - connect() #
    
    原型：int connect(int sockfd, const struct sockaddr *addr, socklen_t addrlen); 例如：if( connect(sockfd, (struct sockaddr *)&serv_addr, sizeof(serv_addr)) < 0) 【man2】
    客户端应用使用connect命令在本地socket和远程socket上建立连接。TCP只能调用一次进行三次握手，多次会报错。UPD的话可以调用多次改变关联的socket，好像只是注册一下对端地址【IBM connect】【UDP之connect】

Mon, 01 Jan 0001 00:00:00 +0000

Intro(SSH) #
- SSH登录 #
  - 准备步骤 #
    1. 生成公私匙: ssh-keygen -t rsa -b 4096 -C 12302@example.com
    2. 复制公匙到主机:cat ~/.ssh/id_virmach_ras.pub | ssh root@107.174.101.187 "mkdir -p ~/.ssh && cat >> ~/.ssh/authorized_keys"
    - ssh-copy-id使用 #
      
      (ssh-copy-id) 是一个可执行的脚本文件，可以把本地的ssh公钥文件安装到远程主机对应的账户下。也就是将你的公共密钥填充到一个远程机器上的authorized_keys文件中。如果远程机器上存在authorizedkeys文件，且authorizedkeys有内容，则ssh-copy-id 可以将待传公钥追加到authorizedkeys文件里。它也能够改变远程用户名的权限，如~/.ssh和~/.ssh/authorized_keys删除其写的权限，所以一般/.ssh给予700，/.ssh/authorized_keys给予600权限。
      
      查看帮助：ssh-copy-id -h
      复制命令：ssh-copy-id [-i [identity_file]] [user@]machine
  - 登录原理 #
    
    Warning
    1). 发送登录请求到远程主机，identity文件中包含一些信息。
    2). 远程服务器利用这个账户下的公匙随机生成字符串然后发送给对方。
    3). 对方利用私匙将字符串解密后发送给远程服务器。
    4). 远程服务器验证通过后，准许对方登录。
- SSH隧道 #
  
  SSH 除了登录服务器，还有一大用途，就是作为加密通信的中介，充当两台服务器之间的通信加密跳板，使得原本不加密的通信变成加密通信。这个功能称为端口转发（port forwarding），又称 SSH 隧道（tunnel）。
  
  端口转发有两个主要作用：
  （1）将不加密的数据放在 SSH 安全连接里面传输，使得原本不安全的网络服务增加了安全性，比如通过端口转发访问 Telnet、FTP 等明文服务，数据传输就都会加密。
  （2）作为数据通信的加密跳板，绕过网络防火墙。
  端口转发有三种使用方法：动态转发，本地转发，远程转发。下面逐一介绍。

Mon, 01 Jan 0001 00:00:00 +0000

tcp flag #

图例 #

IP 报头（最小20Byte,最大 15[1111] * 32 / 8, 可填充 40Byte ）：首部长度的单位为 4Byte.
TCP 报头(20Byte)

标志位解释 #

SYN：同步序列编号（Synchronize Sequence Numbers）

是TCP/IP建立连接时使用的握手信号。在客户机和服务器之间建立正常的TCP网络连接时，客户机首先发出一个SYN消息，服务器使用SYN+ACK应答表示接收到了这个消息，最后客户机再以ACK消息响应。这样在客户机和服务器之间才能建立起可靠的TCP连接，数据才可以在客户机和服务器之间传递。
ACK (Acknowledge character）

ACK (Acknowledge character）即是确认字符，在数据通信中，接收站发给发送站的一种传输类控制字符。表示发来的数据已确认接收无误。在TCP/IP协议中，如果接收方成功的接收到数据，那么会回复一个ACK数据。通常ACK信号有自己固定的格式,长度大小,由接收方回复给发送方。
RST

产生RST场景或者导致“Connection reset by peer”场景？
- 当尝试和未开放的服务器端口建立tcp连接时，服务器tcp将会直接向客户端发送reset报文；
- 双方之前已经正常建立了通信通道，也可能进行过了交互，当某一方在交互的过程中发生了异常，如崩溃等，异常的一方会向对端发送reset报文，通知对方将连接关闭；
- 当收到TCP报文，但是发现该报文不是已建立的TCP连接列表可处理的，则其直接向对端发送reset报文；
- ack报文丢失，并且超出一定的重传次数或时间后，会主动向对端发送reset报文释放该TCP连接；

socket_keepalive理解 #

前言 #

1. net.ipv4.tcp_keepalive_intvl = 75 （发送探测包的周期，前提是当前连接一直没有数据交互，才会以该频率进行发送探测包，如果中途有数据交互，则会重新计时tcp_keepalive_time，到达规定时间没有数据交互，才会重新以该频率发送探测包）
2. net.ipv4.tcp_keepalive_probes = 9 （探测失败的重试次数，发送探测包达次数限制对方依旧没有回应，则关闭自己这端的连接）
3. net.ipv4.tcp_keepalive_time = 7200 （空闲多长时间，则发送探测包）
响应结果 #

1. 正常ack，继续保持连接；
2. 对方响应rst信号，双方重新连接。
3. 对方无响应。

Mon, 01 Jan 0001 00:00:00 +0000

tun/tap #

tun/tap 设备是操作系统内核中的虚拟网络设备，是用软件模拟的网络设备，提供与硬件网络设备完全相同的功能。主要用于用户空间和内核空间传递报文。

tun/tap 设备与物理网卡的区别，如图所示: #

对于硬件网络设备而言，一端连接的是物理网络，一端连接的是网络协议栈。
对于 tun/tap 设备而言，一端连接的是应用程序（通过字符设备文件 /net/dev/tun），一端连接的是网络协议栈。

工作原理 #

从下图可以更直观的看出 tun/tap 设备和物理设备的区别：虽然它们的一端都是连着网络协议栈，但是物理网卡另一端连接的是物理网络，而 tun/tap 设备另一端连接的是一个应用层程序，这样协议栈发送给 tun/tap 的数据包就可以被这个应用程序读取到，此时这个应用程序可以对数据包进行一些自定义的修改(比如封装成 UDP)，然后又通过网络协议栈发送出去——其实这就是目前大多数“代理”的工作原理。(Tun/tap 设备提供的虚拟网卡驱动，从tcp/ip协议栈的角度而言，它与真实网卡驱动并没有区别。)

工作模式 #

tun/tap 有两种模式，tun 模式与 tap 模式。tun 设备与 tap 设备工作方式完全相同，区别在于：

Tun 设备是三层设备，从 /dev/net/tun 字符设备上读取的是 IP 数据包，写入的也只能是 IP 数据包，因此不能进行二层操作，如发送 ARP 请求和以太网广播。
Tap 设备是二层设备，处理的是二层 MAC 层数据帧，从 /dev/net/tun 字符设备上读取的是 MAC 层数据帧，写入的也只能是 MAC 层数据帧。从这点来看， Tap 虚拟设备和真实的物理网卡的能力更接近，可以与物理网卡做 bridge。

注意事项

无论是 tun 还是 tap 设备，都是通过 open/dev/net/tun 这个字符设备文件，通过 ioctl 系统调用在内核创建新的 tun、tap 设备，创建的设备并不会以文件的形式出现在 /dev/ 下，可以在 sys/class/net/ 下看到对应的网络接口 tunx 或者 tapx。
设备 /dev/net/tun 必须以 read/write 的方式打开。该设备也被称为克隆设备，它是创建任何 tun/tap 虚拟接口的起点。
open 系统调用执行的时候，VFS 会为这次 open 分配一个独立的内核态 file 结构，也就是说，每次打开执行时，内核为此次打开分配的 file 结构实例不同，代表不同的字符设备。

应用的数据收发过程 #

数据发送：应用进程 A open/dev/net/tun 字符设备，通过 ioctl 调用创建虚拟接口 tunx 或者 tapx, ioctl 调用返回表示对应 tunx 或者 tapx 设备的文件描述符 fd ，应用 A 通过这个文件描述符 fd 写入格式化的数据，数据通过虚拟网卡驱动到达协议栈，对于协议栈来说，这个数据就像从真实网卡接收的一样。
数据接收：当网络协议栈发送数据到虚拟接口 tunx 或者 tapx 时，应用进程 A 通过上述创建的设备文件描述符 fd，从中读取接口发送的数据，然后进行处理。

设备创建 #

# 创建 tun/tap 设备
ip tuntap add dev tap0 mod tap # 创建 tap
ip tuntap add dev tun0 mod tun # 创建 tun
 
# 删除tun/tap设备
ip tuntap del dev tap0 mod tap # 删除 tap
ip tuntap del dev tun0 mod tun # 删除 tun
 
# 设置 ip 地址，up 设备
ip address add dev tap0 10.0.1.5/24
ip link set dev tap0 up

设备驱动 #

Tun/tap 驱动程序中包含两个部分，一部分是字符设备驱动，还有一部分是网卡驱动。

Mon, 01 Jan 0001 00:00:00 +0000

Reference #

https://blog.csdn.net/a745233700/article/details/90230490

archive

Intro(Bridge) #

Reference #

Intro(DNS) #

Reference #

bridge网络 #

参考资料 one #

参考资料 two #

Intro(HTTP) #

分块传输编码 #

响应头大小写 #

Reference #

Intro(网络栈) #

直接往网卡发送数据 #

网络堆栈 #

Intro(PROXY) #

Reference #

Intro(SOCKET) #

系统调用 #

socket() #

bind() #

listen() #

connect() #

Intro(SSH) #

SSH登录 #

准备步骤 #

ssh-copy-id使用 #

登录原理 #

SSH隧道 #

tcp flag #

图例 #

标志位解释 #

相关实验 #

socket_keepalive理解 #

前言 #

响应结果 #

tun/tap #

tun/tap 设备与物理网卡的区别，如图所示: #

工作原理 #

工作模式 #

应用的数据收发过程 #

设备创建 #

设备驱动 #

Reference #