IT技术资讯

2020-04-23admin阅读(1328)评论(0)赞(1)

实际上，关于「如何抓取汽车之家的车型库」，我已经在「使用 Mitmproxy 分析接口」一文中给出了方法，不过那篇文章里讲的是利用 API 接口来抓取数据，一般来说，因为接口不会频繁改动，相对 WEB 页面而言更稳定，所以通常这是数据抓取的...

2020-04-23admin阅读(1539)评论(0)赞(0)

对于码畜而言，如果使用 Mac 笔记本的话，那么 Alfred 和 Dash 基本属于必装软件，其中 Alfred 可以免费使用，但是高级的 Powerpack 功能需要付费，而 Dash 则更进一步，不仅要付费购买，连后续升级也要花钱。这...

2020-04-23admin阅读(1024)评论(0)赞(3)

本文说的排序并不是指「冒泡」之类的技术概念，而是一个业务相关的问题。   举例来说：某个网站，每天都能产生很多数据，需要一个推荐列表页面来展示数据。最初是完全按照时间倒序来排序的，但是这样就产生了一个问题：新鲜的数据不一定是有价值...

2020-04-23admin阅读(1058)评论(0)赞(0)

系统写好了，能不能顺利上线？一般来说我们需要做一些压力测试来判断。比如系统预计每天一百万的接口访问量，并且访问时段主要集中在早八点到晚八点，那么平均下来 RPS 大约是 22 次左右，不过用户的访问量通常不会很平均，假设峰值流量是平均流量的...

2020-04-23admin阅读(1082)评论(0)赞(2)

如果想学会一门新语言，不仅要多读文档，还要多看别人写的代码，更要强迫自己用新语言多写代码。我在学习 Golang 之前，读过好几本相关的书籍，不过总感觉没真正学会，于是我决定动手用 Golang 写一个能用的工具试试，因为 Golang 最...

2020-04-23admin阅读(988)评论(0)赞(0)

最近使用 pip 的时候感觉速度太慢了，感觉有必要改成豆瓣的豆瓣的镜像，可我记不清 pip 的配置文件路径了，当然可以用搜索引擎查询一下，不过还有更快的方法：strace！ shell> strace -eopen pip 2>...

2020-04-23admin阅读(2106)评论(0)赞(0)

起因 事情的起因是我们给线上的一个服务新加了30台服务器，然后就有用户反馈说我们的查询性能开始变得不稳定，一些平时很快的请求经常要卡好久才能返回。照理说加机器服务应该变得更快才是，怎么会变得更不稳定呢，这让我们一开始也不是很愿意相信这个事实...

2020-04-22admin阅读(1646)评论(0)赞(1)

概述：本文讨论主机在发送一个TCP数据包后，如果迟迟没有收到ACK，主机多久后会重传这个数据包。主机从发出数据包到第一次TCP重传开始，RFC中这段时间间隔称为retransmission timeout，缩写做RTO。本文会先看看RFC中...

2020-04-22admin阅读(1444)评论(0)赞(2)

iostat(1)是在Linux系统上查看I/O性能最基本的工具，然而对于那些熟悉其它UNIX系统的人来说它是很容易被误读的。比如在HP-UX上 avserv（相当于Linux上的 svctm）是最重要的I/O指标，反映了硬盘设备的性能，它...

2020-04-22admin阅读(1124)评论(0)赞(0)

前两天，我在微博上推荐了一篇朝花夕拾的文章：The story of one latency spike，文章中介绍了 cloudflare 工程师如何一步一步 debug 网络延迟问题，细细读来受益良多，不过我并不打算详细介绍那篇文章的细...

2020-04-22admin阅读(1704)评论(0)赞(1)

虽然早就知道很多人用 Guzzle 爬数据，但是我却从来没有真正实践过，因为在我的潜意识里，抓取是 Python 的地盘。不过前段时间，当我抓汽车之家数据的时候，好心人跟我提起 Goutte 搭配 Guzzle 是最好的爬虫，让我一直记挂在...

2020-04-22admin阅读(1248)评论(0)赞(0)

如果出现 SYN 丢包，那么将导致严重的性能问题，如果没有严重到完全连不上，那么在延迟时间上会表现出明显的时间特征，比如：1秒，3秒，7秒，15秒，31秒，具体可以参考：「SYN和RTO」，本文不说这个，就说说哪些情况会出现 SYN 丢包。...

2020-04-22admin阅读(1175)评论(0)赞(1)

如果你有几房姨太太的话，那么想让她们和平共处，多半是痴人说梦。对程序员而言，虽然他们不会有娶几个老婆的好运气，但是很可能会遇到在同一个系统里使用多个版本的软件的情况，一旦处理不好，同样会焦头烂额。   下面通过一个例子来说明如何解...

2020-04-22admin阅读(1105)评论(0)赞(4)

现在服务端程序员的主要工作已经不再是套模版，而是编写基于 JSON 的 API 接口。可惜大家编写接口的风格往往迥异，这就给系统集成带来了很多不必要的沟通成本，如果你有类似的困扰，那么不妨关注一下 JSONAPI，它是一个基于 JSON 构...

2020-04-22admin阅读(1045)评论(0)赞(1)

同事在使用 sftp 连接服务器的时候出现错误信息：session is down，已经自行检查了服务器地址，端口，用户名，密码等种种可能出现低级失误的地方，结果找不到原因。   同事找到我时，开始我觉得仅凭直觉并不好下手，不过但...

2020-04-22admin阅读(1162)评论(0)赞(3)

运营反馈某个功能速度很慢，查了一下，定位到如下 SQL： select id from user where name like ‘%foobar%’ order by created_at limit 10; 业务需要，LIKE 的时候必...

2020-04-22admin阅读(1101)评论(0)赞(1)

群里一位大佬上午说了一句箴言：「 世界上没有什么故障是重启解决不了的，如果有，再重启一次。」，结果下午群里就有一位朋友遇到了一个诡异的老版本 PHP 问题：当使用 file_get_contents 抓取网页内容的时候，总是返回空字符串，奇...

2020-04-22admin阅读(1293)评论(0)赞(1)

我说的事务指的是一般的数据库事务，而不是什么分布式事务之类高大上的概念。听起来很简单，但是即便如此，想实现的优雅一点也不是一件容易的事情。  假设有一个 QA 系统，当用户在上面提问的时候，系统保存问题，然后更新用户的提问数，最后触发一个问...

2020-04-22admin阅读(1178)评论(0)赞(2)

如果有人说你的 HTTP 接口响应慢，那可能是他的电脑慢，也可能是网络本身慢，还可能是你的服务器慢，总之想搞清楚到底是哪里慢并不是一件简单的事情，好在有一些小工具可以帮你快速做出正确的判断。   Chrome DevTools： ...

2020-04-22admin阅读(1592)评论(0)赞(1)

1. 基础用法 1.1 查看所有日志(默认显示本次启动的所有日志) [root@devops-101 ~]# journalctl 查看本次启动的所有日志也可以使用 [root@devops-101 ~]# journalctl -b 1....

2020-04-22admin阅读(6365)评论(0)赞(3)

以太坊地址区分大小写么？要搞清楚这个问题，我们不妨先在私链上做个实验： geth> eth.sendTransaction({ from: eth.accounts[0], to: "0xaaaaaaaaaaaaaaaaaaaaaaa...

2020-04-22admin阅读(1165)评论(0)赞(2)

因为 Golang 内置的 net/http 天生就支持 HTTP 中间件机制，所以即便不用 gin 之类的 Web 框架，我们也可以写出扩展性很好的 Web 应用。   假如你不了解 Golang 的 HTTP 中间件机制的话，...

2020-04-22admin阅读(903)评论(0)赞(0)

自从开始学习智能合约之后，接触到了很多「资金盘」游戏，比如前段时间大火的 Fomo3D，不过自从 333ETH 崩盘之后，此类游戏暂时已经没有市场了，因为本质上来说，它们都属于庞氏骗局，在研究相关代码后，让我对利滚利公式产生了一点兴趣，其实...

2020-04-22admin阅读(1468)评论(0)赞(0)

我学习智能合约的一个主要途径就是在 DappRadar 看各个热门应用的源代码，前些天我在看  dice2win 的时候发现一个有趣的现象：虽然它自从上线以来已经多次部署过智能合约，不过让人好奇的是这些地址有一个特点，都有一个和名字很像的 ...

2020-04-22admin阅读(1648)评论(0)赞(0)

如果你用 geth 创建过账号「geth –datadir /path/to/data account new」，那么多半知道 keystore 文件，它通过一个 password 加密保存着账号的私钥： keystore 如果我想拿到加密...

2020-04-22admin阅读(1541)评论(0)赞(0)

在以太坊应用中，游戏一直都是热点中的热点，而在游戏中，随机数往往是一个不可或缺的功能，比如骰子游戏中，我们需要通过随机数来控制点数，如果一个游戏有一个好的随机数算法的话，那么既可以保证游戏庄家不被黑，也可以保证玩家不被宰。   虽...

2020-04-22admin阅读(1756)评论(0)赞(1)

早就想学习区块链相关技术了，可惜因为懒惰一直没有付诸实践，最近随着诸如 God.Game，Fomo3D 等区块链游戏接连暴出安全漏洞，让我对智能合约的兴趣愈发强烈起来，于是利用周末搭建以太坊智能合约测试环境，原想应该很简单，实际却花了不少精...

2020-04-22admin阅读(1110)评论(0)赞(3)

前些天我介绍了如何通过 Twemproxy 实现 Redis 连接池，进而提升 PHP/Redis 的性能。今天我要介绍一下 ProxySQL，通过它可以实现 MySQL 连接池，进而提升 PHP/MySQL 的性能，实际上原理是差不多的，...

2020-04-22admin阅读(1142)评论(0)赞(4)

大多数 PHP 程序员从来没有使用过连接池，主要原因是按照 PHP 本身的运行机制并不容易实现连接池，于是乎 PHP 程序员一方面不得不承受其它程序员的冷嘲热讽，另一方面还得面对频繁短链接导致的性能低下和 TIME_WAIT 等问题。 说到...