목차
1. 배경
2. 용어 설명
1. 클라이언트
2. DNS
3. LDNS
4. 호스트
Time-To-Live. 실제 가치에 있어서 이 개념은 다양한 분야에 적용 가능하며 다양한 의미를 가질 수 있습니다.
다음 설문 조사 결과는 개발자에게 권장됩니다. 자체 개발한 클라이언트 DNS 캐싱 구현을 참조하세요. 각 개발 언어마다 DNS 캐싱에 대한 지원이 다를 수 있습니다. 여기서 하나씩 분석해 보겠습니다.
(1) glibc의 getaddrinfo 함수
Java 언어는 많은 회사에서 비즈니스 시스템 개발을 위한 주요 언어입니다. 간단한 HTTP 클라이언트 프로그램을 작성하여 Java의 네트워크 라이브러리가 DNS 캐싱을 지원하는지 테스트하고 확인하세요. 이 테스트에서는 Java 표준 라이브러리의 두 가지 구성 요소인 HttpURLConnection 및 Apache httpcomComponents-client를 확인합니다.
Go
Python
总结
2. Unix/类 Unix 系统常用 dns 缓存服务:
nscd
dnsmasq
3. 纯内网业务取消查询域名的AAAA记录的请求
4. 规范域名处理逻辑
백엔드 개발 파이썬 튜토리얼 각 개발 언어에 대한 DNS 캐시 구성 권장 사항

각 개발 언어에 대한 DNS 캐시 구성 권장 사항

Apr 10, 2023 am 11:31 AM
은닉처 언어 dns

저자: Zhai Helong

1. 배경

컴퓨터 분야에서 성능 최적화 조치에 관해 고려해야 할 첫 번째 원칙 중 하나는 캐시를 사용하는 것입니다. 다음 이점:

1. 데이터 수집 경로를 단축하고 빠른 후속 읽기를 위해 근처에 핫스팟 데이터를 캐시하여 처리 효율성을 크게 향상시킵니다.

2. -엔드 데이터 서비스, 프런트엔드와 백엔드 간 격차 감소

CPU 하드웨어의 다단계 캐시 설계부터 브라우저의 빠른 페이지 표시, CDN 및 인기 상용 제품까지 클라우드 스토리지 게이트웨이에서는 캐싱 개념이 모든 곳에 적용됩니다.

공용 네트워크 분야에서 운영 체제, 브라우저, 모바일 앱과 같은 성숙한 제품의 캐싱 메커니즘은 China Telecom, China Unicom과 같은 네트워크 공급자와 주요 포털 플랫폼과 같은 콘텐츠 공급자가 직면한 문제를 크게 제거했습니다. CDN 제조업체는 심각한 서비스 압박에 직면해 있습니다. 오직 운영자의 DNS만이 초당 수십억 개의 DNS 확인을 침착하게 처리할 수 있고, 네트워크 장비 클러스터는 초당 Tbit 수준의 인터넷 대역폭을 쉽게 감당할 수 있으며, CDN 플랫폼은 초당 수십억 개의 요청을 신속하게 처리할 수 있습니다. .

현재 회사의 거대하고 성장하는 도메인 이름 액세스 규모에 직면하여 저자 팀은 지속적으로 클러스터 아키텍처를 최적화하고 DNS 소프트웨어 성능을 개선하고 있으며 도메인 이름 확인 요청을 수행하기 위해 시급히 다양한 클라이언트 환경을 홍보해야 합니다. 메커니즘에 따라 우리는 회사, 고객 및 파트너의 프런트 엔드 개발 및 운영 담당자에게 합리적인 제안을 제공하고 전반적인 DNS 요청 프로세스를 최적화하며 비즈니스 효율성을 높이기 위해 이 가이드 기사를 연구하고 작성하도록 특별히 팀 구성원을 구성했습니다.

이 기사에서는 다양한 비즈니스 및 개발 언어 배경에서 클라이언트에서 로컬로 DNS 확인 레코드 캐싱을 구현하는 방법을 주로 설명합니다. 동시에 작성자 팀의 DNS 자체 및 회사 네트워크 환경에 대한 이해를 바탕으로 몇 가지 다른 조치를 취합니다. 클라이언트 측에서 DNS 확인 요청을 정규화합니다.

2. 용어 설명

1. 클라이언트

이 글에서 언급된 클라이언트는 일반적으로 서버, PC, 모바일 단말기, 운영 체제, 명령줄을 포함하되 이에 국한되지 않고 네트워크 요청을 적극적으로 시작하는 모든 개체를 의미합니다. 도구, 스크립트, 서비스 소프트웨어, 사용자 APP 등

2. DNS

도메인 네임 시스템(서버/서비스)은 일종의 데이터베이스 서비스로 이해될 수 있습니다.

클라이언트는 네트워크를 통해 서버와 통신합니다. , IP 주소에 의존하여 상대방을 클라이언트 사용자로 식별하므로 인간이 많은 수의 IP 주소를 기억하기 어렵기 때문에 www.jd.com과 같이 기억하기 쉬운 도메인 이름을 고안하여 매핑을 저장합니다. 클라이언트가 사용할 DNS의 도메인 이름과 IP 주소 간의 관계

클라이언트는 DNS에 대한 도메인 이름 확인 요청을 시작하여 서버의 IP 주소를 얻은 후에만 네트워크 통신 요청을 시작할 수 있습니다. IP 주소를 취득하고 도메인 이름이 제공하는 서비스나 콘텐츠를 실제로 얻으세요.

참고: 도메인 이름 시스템도메인 이름 확인 프로세스

3. LDNS

로컬 DNS, 로컬 도메인 이름 서버는 일반적으로 해당 위치의 네트워크 공급자에 의해 자동으로 할당됩니다( 공급자는 제어권을 가지며 DNS 하이재킹, 즉 도메인 이름 확인에서 얻은 IP를 변조하는 데에도 사용할 수 있으며 인트라넷 환경은 IT 부서 설정에 의해 자동으로 할당됩니다.

일반적으로 Unix, Unix와 유사합니다. MacOS 시스템은 /etc/resolv.conf를 통해 자신의 LDNS를 볼 수 있습니다. 나중에 네임서버에서 이 파일은 Google DNS와 같은 공용 네트워크의 일반 공용 DNS와 같은 LDNS를 지정하기 위한 사용자 자체 편집 및 수정도 지원한다고 밝혔습니다. 114DNS 등; 순수 인트라넷 환경에서는 일반적으로 IT 부서에 문의하지 않고 수정하는 것을 권장하지 않습니다. 이로 인해 서비스를 사용할 수 없게 될 수 있습니다. man resolv.conf 명령 결과를 참조하세요.

도메인 이름 확인이 비정상적인 경우 LDNS 서비스 이상 또는 확인 하이재킹 가능성도 고려해야 합니다.

참고: Windows 시스템에서 TCP/IP 설정(DNS 포함)을 수정합니다.

4. 호스트

DNS 시스템은 호스트 파일에서 흔히 발견되는 도메인 이름과 IP 간의 매핑 관계를 동적으로 제공할 수 있습니다. 다양한 운영 체제의 도메인 이름과 IP 간의 매핑 관계에 대한 정적 기록 파일이며 일반적으로 호스트 기록이 DNS 확인보다 우선합니다. 즉, 로컬 캐시가 없거나 캐시가 누락된 경우 해당 도메인 이름이 우선합니다. 레코드는 먼저 호스트를 통해 쿼리됩니다. 호스트에 관련 매핑이 없으면 DNS가 계속해서 요청됩니다. Linux 환경에서 이 로직을 제어하는 ​​방법은 아래 C/C++ 언어 DNS 캐시 소개 섹션을 참조하세요.

그래서 실제 작업에서는 위의 기본 기능을 사용하여 특정 도메인 이름과 특정 IP 간의 매핑 관계를 호스트 파일(흔히 "고정 호스트"라고 함)에 기록하는데, 이는 DNS 확인을 우회하는 데 사용됩니다. 대상 IP에 대한 대상 액세스를 처리하고 제공합니다(효과는 컬의 -x 옵션 또는 wget의 -e 지정된 프록시 옵션과 동일). TTL

Time-To-Live. 실제 가치에 있어서 이 개념은 다양한 분야에 적용 가능하며 다양한 의미를 가질 수 있습니다.

이 글에 포함된 TTL 설명은 모두 데이터 캐싱을 위한 것으로, 이는 캐시된 데이터의 "유효 기간"으로 직접적으로 이해될 수 있습니다. 데이터가 캐시된 시점보다 오랫동안 캐시에 존재하는 데이터입니다. TTL 지정 시간이 고려됩니다. 만료된 데이터의 경우 해당 데이터가 다시 호출되면 유효성이 확인되거나 신뢰할 수 있는 데이터 원본에서 즉시 다시 가져옵니다.

캐싱 메커니즘은 일반적으로 수동적으로 트리거되고 업데이트되므로 클라이언트의 캐시 유효 기간 동안 백엔드 원본 신뢰할 수 있는 데이터가 변경되면 클라이언트는 이를 알아차리지 못하며 이는 어느 정도의 데이터 업데이트 지연으로 나타납니다. 비즈니스에 캐시된 데이터가 일시적으로 신뢰할 수 있는 데이터와 일치하지 않습니다.

클라이언트 측 DNS 레코드의 캐시 TTL의 경우 동시에 60초 값을 권장합니다. 테스트와 같이 민감도가 낮은 비즈니스이거나 도메인 이름 확인 조정이 자주 발생하지 않는 비즈니스라면 시간 또는 날짜 수준까지 적절하게 확장 가능

3. DNS 해상도 최적화 제안

1. 다양한 언어 네트워크 라이브러리의 DNS 캐싱 지원에 대한 설문조사

다음 설문 조사 결과는 개발자에게 권장됩니다. 자체 개발한 클라이언트 DNS 캐싱 구현을 참조하세요. 각 개발 언어마다 DNS 캐싱에 대한 지원이 다를 수 있습니다. 여기서 하나씩 분석해 보겠습니다.

C/C++ 언어

(1) glibc의 getaddrinfo 함수

Linux 환경의 glibc 라이브러리는 IPv6 및 스레드 프로그래밍 모델로의 전환으로 gethostbyname 함수와 getaddrinfo 함수라는 두 가지 도메인 이름 확인 함수를 제공합니다. getaddrinfo는 IPv6 주소를 구문 분석할 뿐만 아니라 스레드로부터 안전하기 때문에 더욱 유용해집니다. getaddrinfo 함수를 사용하는 것이 좋습니다.

함수 프로토타입:

int getaddrinfo( const char *node, 
 const char *service,
 const struct addrinfo *hints,
 struct addrinfo **res);
로그인 후 복사
getaddrinfo 함수는 상대적으로 낮은 수준의 기본 라이브러리 함수입니다. 개발 언어의 많은 도메인 이름 확인 함수는 이 함수에 의존하므로 여기서는 이 함수의 처리 논리를 소개하겠습니다. . strace 명령을 통해 이 함수 시스템 호출을 추적합니다.

각 개발 언어에 대한 DNS 캐시 구성 권장 사항1) nscd 캐시 찾기(nscd에 대한 소개는 아래 참조)

Linux 환경에서 strace 명령을 통해 다음 시스템 호출을 볼 수 있습니다

//连接nscd
socket(PF_LOCAL, SOCK_STREAM|SOCK_CLOEXEC|SOCK_NONBLOCK, 0) = 3
connect(3, {sa_family=AF_LOCAL, sun_path="/var/run/nscd/socket"}, 110) = -1 ENOENT (No such file or directory)
close(3)
로그인 후 복사
unix 소켓을 통해 인터페이스 "/var /run/nscd/socket"은 nscd 서비스에 연결하여 DNS 캐시를 쿼리합니다.

2) /etc/hosts 파일을 쿼리합니다.

nscd 서비스가 시작되지 않거나 캐시가 누락된 경우 계속해서 호스트 파일을 쿼리하면 다음 시스템 호출이 표시됩니다

//读取 hosts 文件
open("/etc/host.conf", O_RDONLY)= 3
fstat(3, {st_mode=S_IFREG|0644, st_size=9, ...}) = 0
...
open("/etc/hosts", O_RDONLY|O_CLOEXEC)= 3
fcntl(3, F_GETFD) = 0x1 (flags FD_CLOEXEC)
fstat(3, {st_mode=S_IFREG|0644, st_size=178, ...}) = 0
로그인 후 복사
3) DNS 서비스 쿼리

/etc/resolv.conf 구성에서 DNS 서버(네임서버)의 IP 주소를 쿼리한 후 DNS 쿼리를 수행하여 확인 결과를 얻습니다. 다음 시스템 호출을 볼 수 있습니다.

//获取 resolv.conf 中 DNS 服务 IP
open("/etc/resolv.conf", O_RDONLY)= 3
fstat(3, {st_mode=S_IFREG|0644, st_size=25, ...}) = 0
mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7fef2abee000
read(3, "nameserver 114.114.114.114nn", 4096) = 25
...
//连到 DNS 服务,开始 DNS 查询
connect(3, {sa_family=AF_INET, sin_port=htons(53), sin_addr=inet_addr("114.114.114.114")}, 16) = 0
poll([{fd=3, events=POLLOUT}], 1, 0)= 1 ([{fd=3, revents=POLLOUT}])
로그인 후 복사
클라이언트가 먼저 /etc/hosts 파일을 검색해야 하는지 아니면 먼저 쿼리 및 확인을 위해 /etc/resolv.conf에서 DNS 서버를 얻어야 하는지에 대해서는 /etc/nsswitch입니다. conf 제어:

#/etc/nsswitch.conf 部分配置
...
#hosts: db files nisplus nis dns
hosts:files dns
...
로그인 후 복사
실제로 strace 명령을 통해 시스템이 nscd 소켓을 호출한 후 /etc/resolv.conf를 읽기 전에 파일을 읽는 것을 확인할 수 있습니다

newfstatat(AT_FDCWD, "/etc/nsswitch.conf", {st_mode=S_IFREG|0644, st_size=510, ...}, 0) = 0
...
openat(AT_FDCWD, "/etc/nsswitch.conf", O_RDONLY|O_CLOEXEC) = 3
로그인 후 복사
4) 확인

#include <sys/socket.h>
#include <netdb.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <arpa/inet.h>
#include <unistd.h>

int gethostaddr(char * name);

int main(int argc, char *argv[]){
if (argc != 2)
{
fprintf(stderr, "%s $host", argv[0]);
return -1;
}

int i = 0;
for(i = 0; i < 5; i++)
{
int ret = -1;
ret = gethostaddr(argv[1]);
if (ret < 0)
{
fprintf(stderr, "%s $host", argv[0]);
return -1;
}
//sleep(5);
}

return 0;
}

int gethostaddr(char* name){
struct addrinfo hints;
struct addrinfo *result;
struct addrinfo *curr;
int ret = -1;
char ipstr[INET_ADDRSTRLEN];
struct sockaddr_in*ipv4;

memset(&hints, 0, sizeof(struct addrinfo));
hints.ai_family = AF_INET;
hints.ai_socktype = SOCK_STREAM;

ret = getaddrinfo(name, NULL, &hints, &result);
if (ret != 0)
{
fprintf(stderr, "getaddrinfo: %sn", gai_strerror(ret));
return ret;
}

for (curr = result; curr != NULL; curr = curr->ai_next)
{
ipv4 = (struct sockaddr_in *)curr->ai_addr;
inet_ntop(curr->ai_family, &ipv4->sin_addr, ipstr, INET_ADDRSTRLEN);
printf("ipaddr:%sn", ipstr);
}

freeaddrinfo(result);
return 0;
}
로그인 후 복사
포괄적 위 분석을 바탕으로 nscd와 결합된 getaddrinfo 기능을 사용하면 DNS 캐싱을 구현할 수 있습니다.

(2) libcurl 라이브러리의 도메인 이름 확인 기능

libcurl 라이브러리는 c/C++ 언어에서 클라이언트가 일반적으로 사용하는 네트워크 전송 라이브러리입니다. 컬 명령은 이 라이브러리를 기반으로 구현됩니다. 이 라이브러리는 또한 getaddrinfo 라이브러리 함수를 호출하여 DNS 도메인 이름 확인을 구현하고 nscd DNS 캐싱도 지원합니다.

int
Curl_getaddrinfo_ex(const char *nodename,
const char *servname,
const struct addrinfo *hints,
Curl_addrinfo **result)
{
...
error = getaddrinfo(nodename, servname, hints, &aihead);
if(error)
return error;
...
}
로그인 후 복사
Java

Java 언어는 많은 회사에서 비즈니스 시스템 개발을 위한 주요 언어입니다. 간단한 HTTP 클라이언트 프로그램을 작성하여 Java의 네트워크 라이브러리가 DNS 캐싱을 지원하는지 테스트하고 확인하세요. 이 테스트에서는 Java 표준 라이브러리의 두 가지 구성 요소인 HttpURLConnection 및 Apache httpcomComponents-client를 확인합니다.

(1) 자바 표준 라이브러리 HttpURLConnection

import java.io.BufferedReader;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.OutputStream;
import java.net.HttpURLConnection;
import java.net.URL;


public class HttpUrlConnectionDemo {

public static void main(String[] args) throws Exception {
String urlString = "http://example.my.com/";

int num = 0;
while (num < 5) {
URL url = new URL(urlString);
HttpURLConnection conn = (HttpURLConnection) url.openConnection();
conn.setRequestMethod("GET");
conn.setDoOutput(true);

OutputStream os = conn.getOutputStream();
os.flush();
os.close();

if (conn.getResponseCode() == HttpURLConnection.HTTP_OK) {
InputStream is = conn.getInputStream();
BufferedReader reader = new BufferedReader(new InputStreamReader(is));
StringBuilder sb = new StringBuilder();
String line;
while ((line = reader.readLine()) != null) {
sb.append(line);
}
System.out.println("rsp:" + sb.toString());
} else {
System.out.println("rsp code:" + conn.getResponseCode());
}
num++;
}
}
}
로그인 후 복사

测试结果显示 Java 标准库 HttpURLConnection 是支持 DNS 缓存,5 次请求中只有一次 DNS 请求。

(2)Apache httpcomponents-client

import java.util.ArrayList;
import java.util.List;

import org.apache.hc.client5.http.classic.methods.HttpGet;
import org.apache.hc.client5.http.entity.UrlEncodedFormEntity;
import org.apache.hc.client5.http.impl.classic.CloseableHttpClient;
import org.apache.hc.client5.http.impl.classic.CloseableHttpResponse;
import org.apache.hc.client5.http.impl.classic.HttpClients;
import org.apache.hc.core5.http.HttpEntity;
import org.apache.hc.core5.http.NameValuePair;
import org.apache.hc.core5.http.io.entity.EntityUtils;
import org.apache.hc.core5.http.message.BasicNameValuePair;

public class QuickStart {
public static void main(final String[] args) throws Exception {
int num = 0;
while (num < 5) {
try (final CloseableHttpClient httpclient = HttpClients.createDefault()) {
final HttpGet httpGet = new HttpGet("http://example.my.com/");
try (final CloseableHttpResponse response1 = httpclient.execute(httpGet)) {
System.out.println(response1.getCode() + " " + response1.getReasonPhrase());
final HttpEntity entity1 = response1.getEntity();
EntityUtils.consume(entity1);
}
}
num++;
}
}
}
로그인 후 복사

测试结果显示 Apache httpcomponents-client 支持 DNS 缓存,5 次请求中只有一次 DNS 请求。

从测试中发现 Java 的虚拟机实现一套 DNS 缓存,即实现在 java.net.InetAddress 的一个简单的 DNS 缓存机制,默认为缓存 30 秒,可以通过 networkaddress.cache.ttl 修改默认值,缓存范围为 JVM 虚拟机进程,也就是说同一个 JVM 进程中,30秒内一个域名只会请求DNS服务器一次。同时 Java 也是支持 nscd 的 DNS 缓存,估计底层调用 getaddrinfo 函数,并且 nscd 的缓存级别比 Java 虚拟机的 DNS 缓存高。

# 默认缓存 ttl 在 jre/lib/security/java.security 修改,其中 0 是不缓存,-1 是永久缓存
networkaddress.cache.ttl=10

# 这个参数 sun.net.inetaddr.ttl 是以前默认值,目前已经被 networkaddress.cache.ttl 取代
로그인 후 복사

Go

随着云原生技术的发展,Go 语言逐渐成为云原生的第一语言,很有必要验证一下 Go 的标准库是否支持 DNS 缓存。通过我们测试验证发现 Go 的标准库 net.http 是不支持 DNS 缓存,也是不支持 nscd 缓存,应该是没有调用 glibc 的库函数,也没有实现类似 getaddrinfo 函数的功能。这个跟 Go语言的自举有关系,Go 从 1.5 开始就基本全部由 Go(.go) 和汇编 (.s) 文件写成的,以前版本的 C(.c) 文件被全部重写。不过有一些第三方 Go 版本 DNS 缓存库,可以自己在应用层实现,还可以使用 fasthttp 库的 httpclient。

(1)标准库net.http

package main

import (
"flag"
"fmt"
"io/ioutil"
"net/http"
"time"
)

var httpUrl string

func main() {
flag.StringVar(&httpUrl, "url", "", "url")
flag.Parse()
getUrl := fmt.Sprintf("http://%s/", httpUrl)

fmt.Printf("url: %sn", getUrl)
for i := 0; i < 5; i++ {
_, buf, err := httpGet(getUrl)
if err != nil {
fmt.Printf("err: %vn", err)
return
}
fmt.Printf("resp: %sn", string(buf))
time.Sleep(10 * time.Second)# 等待10s发起另一个请求
}
}

func httpGet(url string) (int, []byte, error) {
client := createHTTPCli()
resp, err := client.Get(url)
if err != nil {
return -1, nil, fmt.Errorf("%s err [%v]", url, err)
}
defer resp.Body.Close()

buf, err := ioutil.ReadAll(resp.Body)
if err != nil {
return resp.StatusCode, buf, err
}

return resp.StatusCode, buf, nil
}
func createHTTPCli() *http.Client {
readWriteTimeout := time.Duration(30) * time.Second
tr := &http.Transport{
DisableKeepAlives: true,//设置短连接
IdleConnTimeout: readWriteTimeout,
}
client := &http.Client{
Timeout: readWriteTimeout,
Transport: tr,
}
return client
}
로그인 후 복사

从测试结果来看,net.http 每次都去 DNS 查询,不支持 DNS 缓存。

(2)fasthttp 库

fasthttp 库是 Go 版本高性能 HTTP 库,通过极致的性能优化,性能是标准库 net.http 的 10 倍,其中一项优化就是支持 DNS 缓存,我们可以从其源码看到

//主要在fasthttp/tcpdialer.go中
type TCPDialer struct {
...
// This may be used to override DNS resolving policy, like this:
// var dialer = &fasthttp.TCPDialer{
//Resolver: &net.Resolver{
//PreferGo: true,
//StrictErrors: false,
//Dial: func (ctx context.Context, network, address string) (net.Conn, error) {
//d := net.Dialer{}
//return d.DialContext(ctx, "udp", "8.8.8.8:53")
//},
//},
// }
Resolver Resolver

// DNSCacheDuration may be used to override the default DNS cache duration (DefaultDNSCacheDuration)
DNSCacheDuration time.Duration
...
}
로그인 후 복사

可以参考如下方法使用 fasthttp client 端

func main() {
// You may read the timeouts from some config
readTimeout, _ := time.ParseDuration("500ms")
writeTimeout, _ := time.ParseDuration("500ms")
maxIdleConnDuration, _ := time.ParseDuration("1h")
client = &fasthttp.Client{
ReadTimeout: readTimeout,
WriteTimeout:writeTimeout,
MaxIdleConnDuration: maxIdleConnDuration,
NoDefaultUserAgentHeader:true, // Don't send: User-Agent: fasthttp
DisableHeaderNamesNormalizing: true, // If you set the case on your headers correctly you can enable this
DisablePathNormalizing:true,
// increase DNS cache time to an hour instead of default minute
Dial: (&fasthttp.TCPDialer{
Concurrency:4096,
DNSCacheDuration: time.Hour,
}).Dial,
}
sendGetRequest()
sendPostRequest()
}
로그인 후 복사

(3)第三方DNS缓存库

这个是 github 中的一个 Go 版本 DNS 缓存库

可以参考如下代码,在HTTP库中支持DNS缓存

r := &dnscache.Resolver{}
t := &http.Transport{
DialContext: func(ctx context.Context, network string, addr string) (conn net.Conn, err error) {
host, port, err := net.SplitHostPort(addr)
if err != nil {
return nil, err
}
ips, err := r.LookupHost(ctx, host)
if err != nil {
return nil, err
}
for _, ip := range ips {
var dialer net.Dialer
conn, err = dialer.DialContext(ctx, network, net.JoinHostPort(ip, port))
if err == nil {
break
}
}
return
},
}
로그인 후 복사

Python

(1)requests 库

#!/bin/python

import requests

url = 'http://example.my.com/'

num = 0
while num < 5:
headers={"Connection":"close"} # 开启短连接
r = requests.get(url,headers = headers)
print(r.text)
num +=1
로그인 후 복사

(2)httplib2 库

#!/usr/bin/env python
import httplib2
http = httplib2.Http()
url = 'http://example.my.com/'

num = 0
while num < 5:
loginHeaders={
'User-Agent': 'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Maxthon/4.0 Chrome/30.0.1599.101 Safari/537.36',
'Connection': 'close'# 开启短连接
}
response, content = http.request(url, 'GET', headers=loginHeaders)
print(response)
print(content)
num +=1
로그인 후 복사

(3)urllib2 库

#!/bin/python

import urllib2
import cookielib

httpHandler = urllib2.HTTPHandler(debuglevel=1)
httpsHandler = urllib2.HTTPSHandler(debuglevel=1)
opener = urllib2.build_opener(httpHandler, httpsHandler)
urllib2.install_opener(opener)

loginHeaders={
'User-Agent': 'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Maxthon/4.0 Chrome/30.0.1599.101 Safari/537.36',
'Connection': 'close' # 开启短连接
}

num = 0
while num < 5:
request=urllib2.Request('http://example.my.com/',headers=loginHeaders)
response = urllib2.urlopen(request)
page=''
page= response.read()
print response.info()
print page
num +=1
로그인 후 복사

Python 测试三种库都是支持 nscd 的 DNS 缓存的(推测底层也是调用 getaddrinfo 函数),以上测试时使用 HTTP 短连接,都在 python2 环境测试。

总结

针对 HTTP 客户端来说,可以优先开启 HTTP 的 keep-alive 模式,可以复用 TCP 连接,这样可以减少 TCP 握手耗时和重复请求域名解析,然后再开启 nscd 缓存,除了 Go 外,C/C++、Java、Python 都可支持 DNS 缓存,减少 DNS查询耗时。

这里只分析了常用 C/C++、Java、Go、Python 语言,欢迎熟悉其他语言的小伙伴补充。

2. Unix/类 Unix 系统常用 dns 缓存服务:

在由于某些特殊原因,自研或非自研客户端本身无法提供 DNS 缓存支持的情况下,建议管理人员在其所在系统环境中部署DNS缓存程序;

现介绍 Unix/类 Unix 系统适用的几款常见轻量级 DNS 缓存程序。而多数桌面操作系统如 Windows、MacOS 和几乎所有 Web 浏览器均自带 DNS 缓存功能,本文不再赘述。

P.S. DNS 缓存服务请务必确保随系统开机启动;

nscd

name service cache daemon 即装即用,通常为 linux 系统默认安装,相关介绍可参考其 manpage:man nscdman nscd.conf

(1)安装方法:通过系统自带软件包管理程序安装,如 yum install nscd

(2)缓存管理(清除):

1.service nscd restart 重启服务清除所有缓存;

2.nscd -i hosts 清除 hosts 表中的域名缓存(hosts 为域名缓存使用的 table 名称,nscd 有多个缓存 table,可参考程序相关 manpage)

dnsmasq

较为轻量,可选择其作为 nscd 替代,通常需单独安装

(1)安装方法:通过系统自带软件包管理程序安装,如 yum install dnsmasq

(2)核心文件介绍(基于 Dnsmasq version 2.86,较低版本略有差异,请参考对应版本文档如 manpage 等)

(3)/etc/default/dnsmasq 提供六个变量定义以支持六种控制类功能

(4)/etc/dnsmasq.d/ 此目录含 README 文件,可参考;目录内可以存放自定义配置文件

(5)/etc/dnsmasq.conf 主配置文件,如仅配置 dnsmasq 作为缓存程序,可参考以下配置

listen-address=127.0.0.1#程序监听地址,务必指定本机内网或回环地址,避免暴露到公网环境
port=53 #监听端口
resolv-file=/etc/dnsmasq.d/resolv.conf#配置dnsmasq向自定义文件内的 nameserver 转发 dns 解析请求
cache-size=150#缓存记录条数,默认 150 条,可按需调整、适当增大
no-negcache #不缓存解析失败的记录,主要是 NXDOMAIN,即域名不存在
log-queries=extra #开启日志记录,指定“=extra”则记录更详细信息,可仅在问题排查时开启,平时关闭
log-facility=/var/log/dnsmasq.log #指定日志文件

#同时需要将本机 /etc/resolv.conf 第一个 nameserver 指定为上述监听地址,这样本机系统的 dns 查询请求才会通过 dnsmasq 代为转发并缓存响应结果。
#另 /etc/resolv.conf 务必额外配置 2 个 nameserver,以便 dnsmasq 服务异常时支持系统自动重试,注意 resolv.conf 仅读取前 3 个 nameserver
로그인 후 복사

(6)缓存管理(清除):

1.kill -s HUP `pidof dnsmasq` 推荐方式,无需重启服务

2.kill -s TERM `pidof dnsmasq` 或 service dnsmasq stop

3.service dnsmasq force-reload 或 service dnsmasq restart

(7)官方文档:https://thekelleys.org.uk/dnsmasq/doc.html

3. 纯内网业务取消查询域名的AAAA记录的请求

以 linux 操作系统为例,常用的网络请求命令行工具常常通过调用 getaddrinfo() 完成域名解析过程,如 ping、telnet、curl、wget 等,但其可能出于通用性的考虑,均被设计为对同一个域名每次解析会发起两个请求,分别查询域名 A 记录(即 IPV4 地址)和 AAAA 记录(即 IPV6 地址)。

因目前大部分公司的内网环境及云上内网环境还未使用 ipv6 网络,故通常 DNS 系统不为内网域名添加 AAAA 记录,徒劳请求域名的 AAAA 记录会造成前端应用和后端 DNS 服务不必要的资源开销。因此,仅需请求内网域名的业务,如决定自研客户端,建议开发人员视实际情况,可将其设计为仅请求内网域名 A 记录,尤其当因故无法实施本地缓存机制时。

4. 规范域名处理逻辑

客户端需严格规范域名/主机名的处理逻辑,避免产生大量对不存在域名的解析请求(确保域名从权威渠道获取,避免故意或意外使用随机构造的域名、主机名),因此类请求的返回结果(NXDOMAIN)通常不被缓存或缓存时长较短,且会触发客户端重试,对后端 DNS 系统造成一定影响。

위 내용은 각 개발 언어에 대한 DNS 캐시 구성 권장 사항의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

인기 기사

R.E.P.O. 에너지 결정과 그들이하는 일 (노란색 크리스탈)
4 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 최고의 그래픽 설정
4 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 아무도들을 수없는 경우 오디오를 수정하는 방법
4 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25 : Myrise에서 모든 것을 잠금 해제하는 방법
1 몇 달 전 By 尊渡假赌尊渡假赌尊渡假赌

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

e의 NameResolutionError(self.host, self, e) 이유와 해결 방법 e의 NameResolutionError(self.host, self, e) 이유와 해결 방법 Mar 01, 2024 pm 01:20 PM

오류의 원인은 urllib3 라이브러리의 예외 유형인 NameResolutionError(self.host,self,e)frome입니다. 이 오류의 원인은 DNS 확인에 실패했기 때문입니다. 해결을 찾을 수 없습니다. 이는 입력한 URL 주소가 정확하지 않거나 DNS 서버를 일시적으로 사용할 수 없기 때문에 발생할 수 있습니다. 이 오류를 해결하는 방법 이 오류를 해결하는 방법은 여러 가지가 있습니다. 입력한 URL 주소가 올바른지 확인하고 액세스할 수 있는지 확인하십시오. DNS 서버를 사용할 수 있는지 확인하십시오. 명령줄에서 "ping" 명령을 사용해 볼 수 있습니다. DNS 서버를 사용할 수 있는지 테스트하려면 프록시 뒤에 있는 경우 호스트 이름 대신 IP 주소를 사용하여 웹사이트에 액세스해 보세요.

Linux에서 DNS 캐시를 보고 새로 고치는 방법 Linux에서 DNS 캐시를 보고 새로 고치는 방법 Mar 07, 2024 am 08:43 AM

DNS(DomainNameSystem)는 인터넷에서 도메인 이름을 해당 IP 주소로 변환하는 데 사용되는 시스템입니다. Linux 시스템에서 DNS 캐싱은 도메인 이름과 IP 주소 간의 매핑 관계를 로컬로 저장하는 메커니즘으로, 도메인 이름 확인 속도를 높이고 DNS 서버의 부담을 줄일 수 있습니다. DNS 캐싱을 사용하면 시스템이 매번 DNS 서버에 쿼리 요청을 보낼 필요 없이 이후에 동일한 도메인 이름에 액세스할 때 IP 주소를 신속하게 검색할 수 있으므로 네트워크 성능과 효율성이 향상됩니다. 이 문서에서는 Linux에서 DNS 캐시를 보고 새로 고치는 방법과 관련 세부 정보 및 샘플 코드에 대해 설명합니다. DNS 캐싱의 중요성 Linux 시스템에서 DNS 캐싱은 중요한 역할을 합니다. 그 존재

win11에서 DNS 주소를 수정하는 용도는 무엇입니까? win11에서 DNS 주소를 수정하는 용도는 무엇입니까? Feb 29, 2024 pm 05:22 PM

어떤 이유로 네트워크가 느려진다고 느끼는 사용자가 많을 것입니다.. 검색해 보니 DNS를 수정한 사용자 중 많은 사용자가 더 이상 지연이 발생하지 않는다고 말했습니다. DNS를 수정하면 어떤 이점이 있는지 알고 싶습니다. 그럼 오셔서 기사를 한번 살펴보세요. win11에서 DNS 주소를 수정하면 어떤 용도가 있나요? 답변: 총 4가지 이점이 있습니다. 1. 네트워크 접속 속도가 빨라집니다. 2. 사용자가 방문하는 웹사이트가 안전한지 확인하는 데 도움이 될 수 있습니다. 3. 또한 사용자가 DNS 하이재킹을 방지하는 데 도움이 될 수 있습니다. 4. 일부 사용자가 특정 웹사이트에 접속할 수 없는 경우, DNS를 변경하여 해당 웹사이트에 직접 연결할 수 있습니다.

PHP APCu의 고급 활용: 숨겨진 힘의 잠금 해제 PHP APCu의 고급 활용: 숨겨진 힘의 잠금 해제 Mar 01, 2024 pm 09:10 PM

PHPAPCu(php 캐시 대체)는 PHP 애플리케이션을 가속화하는 opcode 캐시 및 데이터 캐시 모듈입니다. 잠재력을 최대한 활용하려면 고급 기능을 이해하는 것이 중요합니다. 1. 일괄 작업: APCu는 동시에 많은 수의 키-값 쌍을 처리할 수 있는 일괄 작업 방법을 제공합니다. 이는 대규모 캐시 삭제 또는 업데이트에 유용합니다. //일괄적으로 캐시 키 가져오기 $values=apcu_fetch(["key1","key2","key3"]) //일괄적으로 캐시 키 지우기 apcu_delete(["key1","key2","key3"]) ;2 .캐시 만료 시간 설정: APCu를 사용하면 캐시 항목의 만료 시간을 설정하여 지정된 시간 후에 자동으로 만료되도록 할 수 있습니다.

브라우저 캐시에서 로컬로 비디오 파일을 저장하는 방법 브라우저 캐시에서 로컬로 비디오 파일을 저장하는 방법 Feb 23, 2024 pm 06:45 PM

브라우저 캐시 동영상을 내보내는 방법 인터넷의 급속한 발전으로 동영상은 사람들의 일상생활에서 없어서는 안 될 부분이 되었습니다. 웹을 탐색할 때 저장하거나 공유하고 싶은 비디오 콘텐츠를 자주 접하지만 비디오 파일이 브라우저의 캐시에만 존재할 수 있기 때문에 비디오 파일의 소스를 찾을 수 없는 경우가 있습니다. 그렇다면 브라우저 캐시에서 비디오를 어떻게 내보내나요? 이 기사에서는 몇 가지 일반적인 방법을 소개합니다. 먼저 브라우저 캐시라는 개념을 명확히 해야 합니다. 브라우저 캐시는 브라우저에서 사용자 경험을 개선하는 데 사용됩니다.

PHP 개발의 캐싱 메커니즘 및 응용 실습 PHP 개발의 캐싱 메커니즘 및 응용 실습 May 09, 2024 pm 01:30 PM

PHP 개발에서 캐싱 메커니즘은 자주 액세스하는 데이터를 메모리나 디스크에 임시 저장하여 데이터베이스 액세스 횟수를 줄여 성능을 향상시킵니다. 캐시 유형에는 주로 메모리, 파일 및 데이터베이스 캐시가 포함됩니다. 캐싱은 내장 함수나 캐시_get() 및 Memcache와 같은 타사 라이브러리를 사용하여 PHP에서 구현할 수 있습니다. 일반적인 실제 응용 프로그램에는 쿼리 성능을 최적화하기 위한 데이터베이스 쿼리 결과 캐싱과 렌더링 속도를 높이기 위한 페이지 출력 캐싱이 포함됩니다. 캐싱 메커니즘은 웹사이트 응답 속도를 효과적으로 향상시키고, 사용자 경험을 향상시키며, 서버 부하를 줄입니다.

에이전트의 경계 탐색: 대규모 언어 모델 에이전트의 성능을 종합적으로 측정하고 개선하기 위한 모듈형 벤치마크 프레임워크인 AgentQuest 에이전트의 경계 탐색: 대규모 언어 모델 에이전트의 성능을 종합적으로 측정하고 개선하기 위한 모듈형 벤치마크 프레임워크인 AgentQuest Apr 11, 2024 pm 08:52 PM

대규모 모델의 지속적인 최적화를 기반으로 하는 LLM 에이전트(이러한 강력한 알고리즘 엔터티)는 복잡한 다단계 추론 작업을 해결할 수 있는 잠재력을 보여주었습니다. 자연어 처리부터 딥 러닝까지 LLM 에이전트는 인간의 언어를 이해하고 생성할 수 있을 뿐만 아니라 전략을 수립하고 다양한 환경에서 작업을 수행하며 심지어 API 호출 및 코딩을 사용하여 빌드까지 할 수 있어 점차 연구 및 산업의 초점이 되고 있습니다. 솔루션. 이러한 맥락에서 AgentQuest 프레임워크의 도입은 LLM 에이전트의 평가 및 발전을 위한 모듈식 벤치마킹 플랫폼을 제공할 뿐만 아니라 연구원에게 이러한 에이전트의 성능을 추적하고 개선할 수 있는 강력한 도구를 제공합니다. 좀 더 세분화된 수준

APCu 모범 사례: 애플리케이션 효율성 향상 APCu 모범 사례: 애플리케이션 효율성 향상 Mar 01, 2024 pm 10:58 PM

캐시 크기 및 정리 전략 최적화 APCu에 적절한 캐시 크기를 할당하는 것이 중요합니다. 캐시가 너무 작으면 데이터를 효과적으로 캐시할 수 없고, 캐시가 너무 크면 메모리가 낭비됩니다. 일반적으로 캐시 크기를 사용 가능한 메모리의 1/4~1/2로 설정하는 것이 합리적인 범위입니다. 또한 효과적인 정리 전략을 사용하면 오래되거나 유효하지 않은 데이터가 캐시에 저장되지 않습니다. APCu의 자동 청소 기능을 사용하거나 사용자 정의 청소 메커니즘을 구현할 수 있습니다. 샘플 코드: //캐시 크기를 256MB로 설정 apcu_add("cache_size",268435456) //60분마다 캐시 지우기 apcu_add("cache_ttl",60*60);

See all articles